local inference 专题

Backburner 探索 Mac 与 iPhone 协同本地推理

Backburner 是 MIT 开源的预发布项目，基于定制 llama.cpp 将部分提示处理及长上下文 KV 注意力计算分配给通过 USB-C 连接的 iPhone，并提供本地兼容 API。实际收益取决于设备、...