Shimmy：一个 Rust 单二进制搞定本地大模型推理
Shimmy 是一个约 5MB 的 Rust 单二进制本地推理服务器，完全兼容 OpenAI API，支持 GGUF 和 SafeTensors 格式，自动发现 Hugging Face 和 Ollama 模型，支...
TechFoco
本地推理 专题
共 2 篇文章，按时间倒序展示。
OpenAI 发布 gpt-oss 开源模型
OpenAI 发布了 gpt-oss 开源模型，包含 120B 和适配边缘设备的 20B 版本，采用 Apache 2.0 许可，支持本地部署与商业应用，旨在满足对隐私、安全和离线运行有高要求的行业需求。
TechFoco
