谷歌 DeepMind(谷歌旗下人工智能研究机构) 为 Gemini 推出智能体视频理解,动态抽帧替代固定帧率
谷歌 DeepMind(谷歌旗下人工智能研究机构)为 Gemini 三款 Flash 级模型推出智能体视频理解:模型不再按固定帧率读取视频,而是自行决定看哪一段、以什么速度、用画面、音频还是转写文本,只取需要的片段。
官方称在标准视频分析评测中分析成本最多降 66%、token 用量最多降 88%、准确率最多提升 7%,即日起在 Google AI Studio(谷歌 AI 开发平台)和 Gemini Enterprise Agent Platform(谷歌企业智能体平台)通过 Gemini API(应用程序接口)提供。
该功能面向 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 三个模型推出,已在 Google AI Studio 与 Gemini Enterprise Agent Platform 的 Gemini API(应用程序编程接口) 上线,支持视频上传和 YouTube 视频,采用标准 Gemini API token 定价、不额外收取功能费;
开发者需在 API 配置中将处理方式设为 "agentic"。 原文给出的启用示例为 genai.Client() 调用的 interactions.create,模型参数为 gemini-3.7-flash,视频条目中 "processing": "agentic"。
原文称该功能可支持亚秒级片段检索(原文表述为 sub-second moment retrieval)、长视频"大海捞针"式检索、重采样高帧率下的异常检测,以及动作与物体计数,并称将逐步推送到 Gemini 应用全部用户,未来数月用于 YouTube 观看页的 "Ask YouTube" 功能。
原文对贡献致谢名单为 Sergi Caelles、Filip Pavetić、Ahmet Iscen、Suhas Yogin 及 Agentic Vision 团队。
这一功能的实质是把视频分析从固定采样率的管道式处理,改造成由模型自行规划取样位置与模态的智能体循环,把"该看哪里"的决策交给模型,从而在长视频上避免高 token 成本与丢失细节之间的二选一。 对开发者而言,接入成本很低:无需自建分层抽帧与检索流程,只在既有 API(应用程序编程接口) 调用里改一个处理参数,并沿用标准 token 定价。
需要区分的是,上述百分比均出自谷歌 DeepMind(谷歌旗下人工智能研究机构) 的官方口径,原文未披露评测集版本、对比基线配置与完整实验方法,也未说明早期访问伙伴的测试条件,因此不能视为独立第三方复现的结果。
后续观察信号
- 原文提到的 agentic vision 与本次视频功能在架构上有何异同
- 亚秒级片段检索在 1 FPS 默认设置之外具体如何调整采样
- YouTube "Ask YouTube" 上线后是否公布可核验的效果数据
