Needle 2 发布:14MB 开放权重模型面向廉价 IoT 设备
Cactus Compute 推出开放权重模型 Needle 2,参数量 45M,压缩为 14MB 二进制,运行时仅需 28MB 内存。该模型剔除聊天与通用知识,专注工具调用、物理设备控制和结构化数据提取,瞄准单价...
Cactus Compute 推出 Needle 2,一个参数量 45M 的开放权重模型,压缩为 14MB 二进制文件,运行时占用 28MB 内存。与常见通用小模型不同,它直接剔除了聊天能力和百科全书式知识,只保留工具调用、物理设备控制和结构化数据提取三类能力。这使它面向一个很具体的部署场景:单价低于 200 美元、没有 NPU 或高端 GPU 的 IoT 设备。

研发团队给出的背景是,全球约有 210 亿台 IoT 设备,其中绝大多数属于这类低成本硬件。把智能代理安装进这些设备,通常受限于内存、算力和 Token 成本;Needle 2 的做法不是继续压缩通用知识,而是缩小任务范围。从材料看,当目标变成精准操控硬件时,放弃对通用文本的理解可以换取更高的执行效率。

这一点也反映在社区评论中。有评论称,Needle 2 在移动指令准确率上超过了更大的 Apple FM。需要说明的是,该说法目前缺少评测基准、数据集和版本信息,无法直接作为可比较的性能结论。若后续有可复现的测试集,这类细分能力对比会更值得关注。
从工程部署角度看,14MB 和 28MB 的指标如果可复现,意味着工具调用和结构化提取可以更接近设备本地完成,减少与云端往返带来的延迟和隐私暴露。模型开放权重也可能便于集成和审计,但许可证、微调与分发限制尚未披露,需要在实际接入前确认。
Needle 2 的能力边界很明确:它适合工具调用、设备控制或结构化提取,不应被当作通用对话或知识问答模型使用。对于开发团队来说,部署前最好针对自己的物理设备控制指令建立评测集,验证它是否真的能替代现有规则或更大的模型,而不是只看公开宣传指标。




