Backburner 探索 Mac 与 iPhone 协同本地推理
Backburner 探索 Mac 与 iPhone 协同本地推理 MIT 开源的预发布项目 Backburner 基于定制 llama.cpp,将部分提示处理及长上下文 KV 注意力计算分配给通过 USB-C 连接的 iPhone,并提供本地兼容 API。
Backburner 探索 Mac 与 iPhone 协同本地推理 MIT 开源的预发布项目 Backburner 基于定制 llama.cpp,将部分提示处理及长上下文 KV 注意力计算分配给通过 USB-C 连接的 iPhone,并提供本地兼容 API。
收益取决于设备、线缆和输入长度;超过 Mac 的 64k 缓存边界后,手机必须保持前台连接,不能将示例测速视为所有任务的保证。