从 TTFT 到工程闭环:10 周 LLM 推理优化路线
GitHub 项目 time-to-first-token 提供 10 周 50 课时路线,围绕同一个 OpenAI 兼容推理服务持续迭代,覆盖 Roofline 分析、vLLM 与 SGLang 源码、量化、投机...
TechFoco

共 6 篇文章,按时间倒序展示。
GitHub 项目 time-to-first-token 提供 10 周 50 课时路线,围绕同一个 OpenAI 兼容推理服务持续迭代,覆盖 Roofline 分析、vLLM 与 SGLang 源码、量化、投机...

MCP 发布重大更新,转向无状态架构,原生支持负载均衡和 Kubernetes 部署,强化认证,引入 12 个月弃用保障期,新增交互式界面和异步任务扩展,标志生产级成熟。
ApeRAG 是一个面向生产的多模态 Graph RAG 平台,旨在通过融合多维索引与智能 AI Agent 来构建企业级知识图谱与上下文工程。

Canine 是一个旨在简化 Kubernetes 集群部署的平台,通过提供一键部署、实时监控和团队协作功能,降低容器编排的使用门槛,尤其适合小团队。


Open WebUI 是一个可扩展、功能丰富的自托管 AI 平台,支持完全离线运行。它集成了多种 LLM 运行器和 RAG 推理引擎,并提供 Docker 与 Kubernetes 等便捷部署方式。
