AI21 用 Google（谷歌） Cloud 调度改造训练集群：高优先级任务等待从 72 小时降至 12 小时
AI21 Labs（以色列人工智能公司）在 Google（谷歌） Cloud 官方博客撰文，说明其用 Google Kubernetes Engine（GKE，谷歌的容器编排服务）与 Kueue 调度器统一管理由 NVIDIA GPU（图形处理器）组成的共享训练集群。
据其自述，高优先级训练任务等待时间从最长 72 小时降到 12 小时，每周人工调度干预从约 20 次降至零。 对基础模型团队而言，这指向多团队共用算力、利用率接近满载时，调度层可缩短关键路径等待；
但数据来自 AI21 自述的生产实践，并非第三方评测或模型能力指标。
AI21 Labs 的 Barak Peleg（技术与架构副总裁）和 Asaf Ben-Tovim（DevOps 工程师）署名文章称：AI21 的训练任务运行在共享的 GKE 集群上，混合使用基于 NVIDIA（英伟达） H100 的 Google（谷歌） Cloud A3 实例与基于 H200 的 A3 Ultra 实例，单一任务可能需要半个以上集群的连续容量。
过去容量靠 Slack 频道 #gpu-resources 人工协调，高优先级多节点训练最长被阻塞 72 小时。 AI21 评估了 Apache YuniKorn、Volcano 和 Kueue，最终选择 Kueue，原因是它与标准 Kubernetes 兼容、不需要替换核心调度组件、也不需要重写作业规格。
Kueue 与 GKE 原生集成，并接入 Spot VM 与 Dynamic Workload Scheduler 等容量类型，使预留容量用尽后能自动使用弹性容量。
AI21 作为设计伙伴向 Kueue 团队提交需求文档，促成 Admission Fair Sharing（按团队历史用量调整排队顺序、不抢占已在运行作业）的落地，并启用了 Topology Aware Scheduling。
文中给出的结果：人工干预从每周约 20 次降到零，高优先级任务等待从 72 小时降到 12 小时，集群碎片率从 15% 降到 8%，部分准入却无处运行的“僵尸作业”问题消失； AI21 强调总成本未变，因为其预留集群本就以接近 100% 利用率运行。
这是基础设施层而非模型能力层的进展。 当共享 GPU（图形处理器） 集群利用率接近 100% 时，瓶颈往往从“有没有卡”转为“能否凑出满足多节点拓扑的连续容量”，碎片与队头阻塞会放大等待。 AI21 的路径是把公平性（按历史用量排序而不抢占）、拓扑感知准入和弹性容量接入统一到 Kueue 与 GKE 的调度层，并用开源协作把生产需求反馈给上游。
可迁移的经验是：占用率高的模型训练团队应先解决作业准入与碎片整理，再谈扩容； 但 72→12 小时这类改善高度依赖具体集群规模与作业结构，不宜当作通用基准。
后续观察信号
- Kueue 的 Admission Fair Sharing 功能当前成熟度与适用范围
- Spot VM 与 Dynamic Workload Scheduler 接入后对训练中断风险的补偿机制
- 碎片率从 15% 降至 8% 的测量口径与集群规模