vLLM 发布首日支持 MiniMax(中国人工智能公司)-M3.1-Flash:面向英伟达与 AMD(美国超威半导体公司) GPU(图形处理器) 的智能体推理优化
vLLM(开源大模型推理引擎)官方博客称,在 MiniMax(中国人工智能公司)-M3.1-Flash 发布当天即提供支持,针对智能体(agent)负载在英伟达 Blackwell、Rubin 与 AMD(美国超威半导体公司) MI350 系列 GPU(图形处理器) 上交付优化内核。
官方基准显示,GB300 上延迟敏感端每用户 418.9 tok/s,Rubin 上 724.9 tok/s; 这些是推理吞吐数据,不代表模型实际任务完成质量。
vLLM 博客称,MiniMax(中国人工智能公司)-M3.1-Flash 是 MiniMax-M3 家族新模型,在推理、编程、智能体和视觉任务上有改进,并采用原生 NVFP4 KV 缓存、NVFP4 量化的 MoE(混合专家)权重和 DSpark 草稿模型做投机解码。 vLLM 提供英伟达与 AMD(美国超威半导体公司) 预构建镜像;
PyPI nightly wheel 需代码审核合并后约一周可用。 博客列出多项内核优化:Blackwell 上借助 CUDA 13.4 的 QMUL4 指令,索引器 QK 解码最高快 1.7×、稀疏注意力解码快 1.3×; NVFP4 MegaMoE 使 prefill 内核延迟降 20%、吞吐升 7%;
索引器解码上下文并行在 4×GB300、512K 上下文下每稀疏层最高快 3.3×。
基准使用 SemiAnalysis AgentX,GB300 延迟敏感端 418.9 tok/s/用户,Rubin 端 724.9 tok/s/用户、每 GPU(图形处理器) 合计 191.5K tok/s,AMD MI355X 每美元 TCO 合计 1.333 亿 token。
这条消息的价值在于推理侧工程:智能体工作流常需长上下文、多轮工具调用和稳定低延迟,KV 缓存压缩与稀疏注意力直接决定单卡能承载多少并发会话。 对产品团队而言,它说明模型能力之外的部署效率正成为智能体应用的成本变量; 但吞吐基准不等于任务成功率,选型仍需用自己的工具调用与多轮任务评测。
后续观察信号
- MiniMax(中国人工智能公司)-M3.1-Flash 在工具调用与多轮任务上的独立评测是否出现
- AMD(美国超威半导体公司) MI350 系列在实际智能体服务中的采用情况
