vLLM 首日支持月之暗面 Kimi K3.1 Pro，长上下文智能体推理加速
开源推理引擎 vLLM（大语言模型推理与服务框架）在月之暗面 Kimi K3.1 Pro 发布首日提供支持。 该模型为 2.8 万亿参数、激活 1040 亿的多模态混合专家模型，上下文 100 万 token。
vLLM 针对新增的稀疏注意力改造显存缓存与解码路径，官方称在长上下文和多轮智能体场景中可提升吞吐并扩大并行会话数； 上述性能数字均为 vLLM 自测。
vLLM 称，Kimi K3.1 Pro 是月之暗面（Moonshot AI）最强开源权重模型：2.8 万亿参数、激活 1040 亿，多模态混合专家（MoE）架构，上下文窗口 100 万 token。 相较 K3，K3.1 Pro 在全部 24 个全注意力层加入稀疏注意力（DSA）索引器，保留 KDA 与 MLA 混合结构。
vLLM 称在 NVIDIA（英伟达） GPU（图形处理器）、AMD（美国超威半导体公司） GPU、谷歌 TPU 和阿里平头哥真武 PPU 上首日支持。 其公布的实测包括：8 块 GB300 上 34 万 token 时首个 token 时延比按头切分快 1.69 倍； 解码上下文并行（DCP）8 路下注意力模块快 1.27 至 1.51 倍；
融合解码路径在 8 块 GB300 上快 1.2 至 1.6 倍。 服务性能方面，GB300 上单用户最高 375.9 token/秒，单 GPU 总吞吐 37.8K token/秒； Rubin 上单用户最高 815.6 token/秒，单 GPU 总吞吐 68.7K token/秒，均基于 SemiAnalysis AgentX 基准。
vLLM 还称与 Megatron 在基座模型和 LoRA 适配器上产生逐位相同的对数概率，100 步全模型训练的 PPO KL 恒为 0。
这条消息的价值不在模型榜单，而在服务层如何适配长上下文智能体负载。 稀疏注意力把每层解码读取的字节数压到密集 MLA 的约四分之一，但代价是缓存结构变复杂：潜变量、索引键和 KDA 状态宽度不一，vLLM 以块为单位打包，才让预填充与解码实例在不同并行度间迁移缓存。
按 token 切分预填充、跨 GPU（图形处理器） 精确合并 top-k，都是为了让缓存容量和多轮会话并存。 对做智能体产品的一方，可据此理解单卡能承载多长的常驻会话，以及长前缀追加的成本。 需注意所有加速比与吞吐为项目自测特定硬件与批次，未披露独立评测。
后续观察信号
- Kimi K3.1 Pro 在编程与智能体基准上的具体分数及评测方
- vLLM 与 Megatron 逐位一致性的测试配置细节
- 稀疏注意力 top-2048 选择对长文档问答准确率的影响