KV缓存专题

共 3 篇文章，按时间倒序展示。

Muser 实战指南：Apple Metal 推理引擎与解耦预填充

电子书讲解在 Apple Silicon 上用 Metal 与 Rust 构建 Muser 推理引擎，运行 52 层、约 300 亿参数的 Muse Glimmer 模型。内容覆盖 kquant DFlash 推测...

2026年08月31日TechFoco

RotorQuant 利用 Clifford 代数中的旋子替代 TurboQuant 的全局随机旋转矩阵，将计算量大幅降低，在 GPU 上实现显著加速，同时保持了与 TurboQuant 相近的量化精度。

2026年03月29日TechFoco

Google Research 发布 TurboQuant 压缩算法，通过 PolarQuant 和 QJL 两步，将大语言模型推理时的 KV cache 内存占用压缩至 3 比特，内存减少 6 倍以上，计算速度显...

2026年03月29日TechFoco