Kolibri 开放 78B MoE 权重与 vLLM 部署插件
Kolibri 开放 78B MoE 权重与 vLLM 部署插件 Kolibri 发布完整权重并采用 Apache 2.0 许可，拥有 78B 总参数、约 3B 激活参数，支持推理和工具调用。
TechFoco
vLLM 专题
共 4 篇文章，按时间倒序展示。
【从首字延迟到工程闭环：一份每天 30 分钟的 LLM 推理优化路线图】 GitHub 最近走红
【从首字延迟到工程闭环：一份每天 30 分钟的 LLM 推理优化路线图】 GitHub 最近走红的 time-to-first-token 项目为工程师提供了一个为期 10 周的系统学习方案。
TechFoco
Hugging Face 推出了一款名为 ml-intern 的开源 AI 工程师，它能自主阅读
Hugging Face 推出了一款名为 ml-intern 的开源 AI 工程师，它能自主阅读论文、训练模型并交付高质量的机器学习代码。
TechFoco
Chandra OCR开源发布，具备强大功能和广泛应用潜力： - 支持完整版面信息解析，能识别并
Chandra OCR开源发布，具备强大功能和广泛应用潜力： - 支持完整版面信息解析，能识别并标注图片、图表 - 优秀的手写体、表格和表单识别能力 - 兼容transformers和vLLM架构，易于集成和扩展 获取方式： Huggingface仓库 | Github代码库 | 在线演示体验（推荐平衡模式） 通过Datalab API调用，支持balanced和accurate两种模式 快速上手： pip install chandra-ocr chandra_vllm chandra input.pdf ./output 性能与对比： - 在olmocr基准测试中优于Deepseek OCR，展现出更高准确率 - 相较Marker OCR，Chandra更擅长复杂格式和整体排版，但速度稍慢 - 支持多语言（基于Surya语言支持），但对部分低资源语言仍有提升空间 已知限制： - 纯数学公式识别尚不及Marker - 旋转页面识别准确度下降 - 部分低资源语言效果欠佳 未来计划： - 持续优化模型精度和性能 - 量化与加速支持，提升推理速度 - 扩展语言和用例覆盖
TechFoco
