vLLM 上线首日支持 Mistral Large 4：万亿参数稀疏多模态模型激活约 490 亿
vLLM 官方博客宣布在模型上线首日支持 Mistral（法国人工智能公司）的 Mistral Large 4，该模型采用混合专家（MoE）架构，总参数 1 万亿，每个 token 激活约 490 亿（含嵌入与输出层约 520 亿），并内置 Pixtral 视觉编码器支持图像输入。
博客称其 NVFP4 量化检查点在各评测中与 FP8 差距不超过 2.1 分、平均差 −0.3 分； 该对比为 vLLM 自测，尚无第三方复现。
博客披露：Mistral Large 4 为 72 层 MoE，128 个路由专家（top-4）加 1 个共享专家，隐藏维度 6144； 注意力为 MLA（KV LoRA 秩 512、RoPE 维 64）加 DSA 稀疏索引器，每查询选 top 2048 键；
每 token 的 KV 缓存占 47,136 字节，其中 MLA 潜变量 41,328 字节、索引器 5,808 字节。 提供 FP8 与 NVFP4 两种检查点，默认使用 FP8 潜变量 KV 缓存。 第 39 至 71 层中每 4 层读取第 35 层的潜缓存，72 层中 63 层自持缓存。 内置 DSpark 推测解码草案器；
TP8 下 DCP8 将 KV 容量由 2.38M 提升至 18.88M token（FP8），NVFP4 由 3.60M 提升至 28.76M token。 AMD（美国超威半导体公司） Instinct MI350 系列 GPU（图形处理器） 首日支持（ROCm），含 DSpark、图像输入与 MXFP4 专家并行。
此次适配的看点在于万亿级稀疏多模态模型在开源推理栈上首日可部署所需的工程改造：跨层 KV 共享、NoPE 层、模型运行器 V2 与可中断 CUDA 图、解码与预填充上下文并行（DCP/PCP）等。 博客称跨层 KV 共享为模型无关改造，正在 vllm#64095 中上游化； 若进入上游，其他采用 MLA 与稀疏注意力架构的模型也可复用。
需注意性能与精度数字均出自 vLLM 自测环境。
后续观察信号
- Mistral 官方是否发布该模型的模型卡与许可条款
- DCP/PCP 在大规模生产集群中的实测表现
- NVFP4 在更多评测集上的精度偏差是否被独立验证