SGLang 发布 Kimi K3 Day0 适配与架构解读
SGLang 团队发布 Kimi K3 Day0 适配文章,围绕可原地修改的 KDA 循环状态重新设计前缀缓存,并以统一内存池让 KDA 状态与 MLA KV 缓存共享显存。接入 DSpark 投机解码后单请求生成...
TechFoco

共 2 篇文章,按时间倒序展示。
SGLang 团队发布 Kimi K3 Day0 适配文章,围绕可原地修改的 KDA 循环状态重新设计前缀缓存,并以统一内存池让 KDA 状态与 MLA KV 缓存共享显存。接入 DSpark 投机解码后单请求生成...

GitHub 项目 time-to-first-token 提供 10 周 50 课时路线,围绕同一个 OpenAI 兼容推理服务持续迭代,覆盖 Roofline 分析、vLLM 与 SGLang 源码、量化、投机...
