ZenteiQ 用 GKE 推理网关替换轮询路由，科学基础模型数据生成吞吐提升约4倍
印度科学理工学院孵化的 AI（人工智能）初创公司 ZenteiQ 在 Google（谷歌） Cloud 博客中介绍，其科学基础模型数据生成流水线改用 GKE（Google Kubernetes Engine，谷歌 Kubernetes 容器编排引擎）推理网关（由开源 llm-d 分布式推理框架驱动）后，每千块加速器的聚合吞吐从每秒16964个 token（词元）升至69114个，日生成量由14.7亿增至近60亿个。
阅读这条案例可理解批量合成数据场景下负载与缓存感知路由如何影响预训练启动节奏。
据 Google（谷歌） Cloud 博客，ZenteiQ 是从印度科学理工学院（IISc）分拆、入选 IndiaAI Mission 的 AI（人工智能） 初创公司，目标是自建“主权科学基础模型”，理解物理规律、控制方程与数值求解器。
其数据生成流水线分四步：把科学种子概念扩展为提示批次、用生成模型产出候选推理轨迹、用评估模型打分、再经另一模型族做护栏检查后打包为预训练数据集。 原先在 Kubernetes 上用标准 ClusterIP 轮询负载均衡，出现两个瓶颈：一是上游无法看到 vLLM（一种大模型推理服务引擎）队列，长推理请求堆在繁忙节点；
二是同一批次内约70%至80%的提示前缀相同，轮询把相同指令分散到不同实例，重复计算共享前缀。 博客称这使单次运行内吞吐波动可达一半。 部署 GKE 推理网关后，路由依据 vLLM 实时队列深度和 KV 缓存（键值缓存）利用率决策，相同科学指令的请求被送到前缀缓存已预热的节点。
博客给出的生产数据为：每千块加速器聚合吞吐从每秒16964升至69114个 token（约4.07倍），日输出从14.7亿增至59.7亿个 token； 单个模型池提升3.5至5.5倍； 前缀缓存命中率提高14个百分点。 ZenteiQ 目前模型规模为90亿和350亿参数。
这条案例的价值不在模型能力本身，而在基础模型训练的数据供给环节：合成数据生成已成为科学模型预训练的关键前置工序，其吞吐直接决定昂贵的多主机加速器集群是否空转。 队列感知与前缀缓存感知路由解决的是推理服务调度问题，属于工程层面的可复用经验，并非模型效果证据。 需要注意，“主权科学基础模型”是 ZenteiQ 的自述定位，报道未给出模型基准成绩或同行评审结果；
4倍级提升是在其特定流水线与固定算力配额下测得，不能直接外推到其他负载。
后续观察信号
- ZenteiQ 的90亿与350亿参数模型是否有公开评测结果？
- 4.07倍提升的测量口径与基线配置是否会公开？