电子书：怎么编写推理引擎：Muser 实战指南——Apple Metal 上的 Muse Gli
电子书：怎么编写推理引擎：Muser 实战指南——Apple Metal 上的 Muse Glimmer、kvpack 与解耦式预填充。
TechFoco
推测解码 专题
共 3 篇文章，按时间倒序展示。
榨干垃圾服务器：本地AI运行的底层逻辑并非买显卡
榨干垃圾服务器：本地AI运行的底层逻辑并非买显卡 | blog 很多技术人都在焦虑被昂贵的算力军备竞赛抛下，但真正的高手已经在用十年前的报废服务器跑最新大模型了。
TechFoco
Apple Silicon 上跑大语言模型，MLX 框架速度总觉得不够快，speculative
Apple Silicon 上跑大语言模型，MLX 框架速度总觉得不够快，speculative decoding 方案又非无损，精度和加速两难。
TechFoco