Buoyant 开源 Kinference：为 vLLM 与 Kubernetes 提供推理控制平面
Buoyant 发布开源项目 Kinference（发音近似“kay-inference”），作为基于 vLLM（开源大模型推理引擎）与 Kubernetes（容器编排平台）运行开放权重模型的推理控制平面，提供令牌限流、租户用量与成本追踪、KV 缓存（键值缓存）感知负载均衡及推理策略。
公司称在其公开基准中，相比标准 Kubernetes 负载均衡，中位首 token 时延最多降低 95%。 这些数字来自 Buoyant 自建基准，尚未经第三方复现。
公司口径原始来源可核对
事实与证据边界
Kinference 由 Buoyant 创建并以 Apache v2 协议开源，代码已在 GitHub 发布，通过 Helm 安装网关与推理组件，支持接收兼容 OpenAI（美国人工智能公司） 或 Anthropic（美国人工智能公司） 格式的推理请求。 其负载均衡会参考 GPU（图形处理器） 队列长度、历史性能和 GPU 上的 KV 缓存内容；
路由规则以 YAML 策略表达，可按租户、模型、GPU 池状态、提示词语义分类等条件选择本地模型或第三方云服务端点，并支持“检测到个人身份信息即不离开集群”的失败关闭配置。 指标方面覆盖输入输出 token 速率、首 token 时延、token 间隔、端到端时延、缓存与未缓存提示 token、模型使用和 GPU 饱和度，多数可按租户查看。
分析判断
推理层的竞争正从单机推理引擎延伸到调度与治理：vLLM 解决单个推理进程的效率，Kinference 试图补上多模型、多租户、多 GPU（图形处理器） 池之间的路由与成本控制。 若策略层能稳定生效，企业部署开放权重模型时的运营门槛会下降，但缓存感知调度带来的收益高度依赖负载形态，Buoyant 的 95% 与 7.4 倍数字不应直接外推到其他部署。
后续观察信号
- Kinference 的 KV 缓存感知调度在非共享前缀负载上的收益如何
- 策略中语义分类提示词由哪个模型执行、成本如何计入