Backburner 探索 Mac 与 iPhone 协同本地推理
Backburner 是 MIT 开源的预发布项目,基于定制 llama.cpp 将部分提示处理及长上下文 KV 注意力计算分配给通过 USB-C 连接的 iPhone,并提供本地兼容 API。实际收益取决于设备、...
Backburner 是一个 MIT 开源的预发布项目,探索 Mac 与 iPhone 之间的协同本地推理。它基于定制版 llama.cpp,将部分提示处理和长上下文 KV 注意力计算卸载到通过 USB-C 连接的 iPhone,为本机大模型运行增加辅助计算通道。
实现上,Mac 负责主要推理流程,iPhone 承接被分配的计算片段,数据通过 USB-C 物理链路传输。项目同时提供本地兼容 API,便于开发者在现有工具链中尝试集成。
实际收益并不固定。设备型号、线缆规格和输入长度都会影响最终表现,示例测速不能直接作为其他任务的性能基准。当推理超过 Mac 的 64k 缓存边界后,手机必须保持前台连接才能继续工作,这对自动化或后台长任务会带来额外约束。
从工程角度看,该方案的价值在于利用手边已有的 iPhone 扩展本地推理能力,但物理连接也限制了部署灵活性。集成前需要评估设备兼容性、连接稳定性,以及前台运行要求在长时间任务中的实际影响。
目前项目处于预发布阶段,安装方式、系统版本要求和具体支持的 iPhone 型号尚未详细说明,本地兼容 API 的兼容范围也没有展开。感兴趣的用户需要先验证与自身工作流的适配程度。
项目使用 MIT 许可证,但输入材料中没有给出完整许可证文本或文件位置。需要评估合规要求的团队,建议直接查看仓库中的许可证文件。