榨干垃圾服务器：本地AI运行的底层逻辑并非买显卡
本文指出，在本地运行大模型时，瓶颈并非算力而是内存带宽。作者以2016年的Xeon处理器和DDR3内存成功运行Gemma 4模型为例，说明通过推测解码、内存矩阵对齐和Flash Attention优化等技术，可以绕...
TechFoco
推测解码 专题
共 2 篇文章，按时间倒序展示。
dflash-mlx：为 MLX 框架实现无损 DFlash 推测解码
dflash-mlx 为 Apple Silicon 上的 MLX 框架提供了无损的 DFlash 推测解码方案，基于 Block Diffusion 论文，结合自定义 Metal 内核，在 Qwen3.5-9B...
TechFoco