推测解码专题

共 3 篇文章，按时间倒序展示。

Muser 实战指南：Apple Metal 推理引擎与解耦预填充

电子书讲解在 Apple Silicon 上用 Metal 与 Rust 构建 Muser 推理引擎，运行 52 层、约 300 亿参数的 Muse Glimmer 模型。内容覆盖 kquant DFlash 推测...

2026年08月31日TechFoco

本文指出，在本地运行大模型时，瓶颈并非算力而是内存带宽。作者以2016年的Xeon处理器和DDR3内存成功运行Gemma 4模型为例，说明通过推测解码、内存矩阵对齐和Flash Attention优化等技术，可以绕...

2026年06月04日TechFoco

dflash-mlx 为 Apple Silicon 上的 MLX 框架提供了无损的 DFlash 推测解码方案，基于 Block Diffusion 论文，结合自定义 Metal 内核，在 Qwen3.5-9B...

2026年04月15日TechFoco