从 TTFT 到工程闭环:10 周 LLM 推理优化路线
GitHub 项目 time-to-first-token 提供 10 周 50 课时路线,围绕同一个 OpenAI 兼容推理服务持续迭代,覆盖 Roofline 分析、vLLM 与 SGLang 源码、量化、投机...
TechFoco

共 3 篇文章,按时间倒序展示。
GitHub 项目 time-to-first-token 提供 10 周 50 课时路线,围绕同一个 OpenAI 兼容推理服务持续迭代,覆盖 Roofline 分析、vLLM 与 SGLang 源码、量化、投机...

Hugging Face 发布开源 AI 工程师 ml-intern,能自主阅读论文、训练模型并交付高质量机器学习代码。项目基于 Hugging Face 生态,内置文档、论文、数据集和云端算力访问能力,支持交互与...

Chandra OCR 是一款开源文档解析工具,支持版面分析、手写体识别,兼容 transformers 和 vLLM,在基准测试中表现优异,但存在部分识别限制。
