Shimmy：一个 Rust 单二进制搞定本地大模型推理
Shimmy 是一个约 5MB 的 Rust 单二进制本地推理服务器，完全兼容 OpenAI API，支持 GGUF 和 SafeTensors 格式，自动发现 Hugging Face 和 Ollama 模型，支...
TechFoco
GGUF 专题
共 3 篇文章，按时间倒序展示。
GGUF LLM Visualizer：在浏览器中 3D 可视化模型结构
Reddit 用户 sultan_papagani 开发了一个开源工具，允许用户在浏览器中上传并 3D 交互式地探索 GGUF 格式大语言模型的内部结构，如层、神经元和连接关系，该工具完全离线运行。
TechFoco
