vLLM 合入 Kimi K3 专用低延迟解码路径
vLLM 合入 Kimi K3 专用低延迟解码路径 新路径采用 CuTe DSL 内核融合和计算通信重叠,初期面向 GB300 的 TP8、TP16 等限定部署配置,需要主动启用。
vLLM 合入 Kimi K3 专用低延迟解码路径 新路径采用 CuTe DSL 内核融合和计算通信重叠,初期面向 GB300 的 TP8、TP16 等限定部署配置,需要主动启用。
相关改动已于 10 月 16 日合入开发主分支,不代表所有稳定版本默认支持;公开性能结果依赖硬件规模、批次和测试方式,不能将跨配置对比写成同硬件提升。