GPU 后端 专题

Shimmy：一个 Rust 单二进制搞定本地大模型推理

Shimmy 是一个约 5MB 的 Rust 单二进制本地推理服务器，完全兼容 OpenAI API，支持 GGUF 和 SafeTensors 格式，自动发现 Hugging Face 和 Ollama 模型，支...