谷歌发布 ToolGrad:先编答案再写问题,用"文本梯度"生成工具调用数据集
谷歌研究团队提出 ToolGrad,将工具调用数据集的生成顺序从"先有用户问题、再搜索调用链"反转为"先生成可用的工具调用链、再补写用户问题"。
该框架借用 TextGrad 的"文本梯度"(用大语言模型给出的文字反馈)思路,迭代提议、执行、选择并更新 API(应用程序接口),再从完整调用链倒推用户提问。
团队用 ToolGrad 生成 500 条数据微调 Gemma-3 的 1B、4B、12B 模型,其中 ToolGrad-12B 在伯克利函数调用排行榜(BFCL)上得分 83.1。
该结果来自单一学术基准,尚不代表真实生产环境表现。
谷歌研究人员 Zhongyi Zhou(研究科学家)与 Ruofei Du(Google,谷歌 XR 交互感知与图形负责人)在谷歌研究博客介绍,论文在 ACL 2026 发表。
ToolGrad 以 ToolBench 的 16k+ 真实 API(应用程序编程接口) 作为工具库,包含 API Proposer(提议)、API Executors(并行执行)、API Selector(选择)与 LLM(大语言模型) Updater(更新)四个模块,循环迭代直到形成一条完整调用链。
团队用 ToolGrad 生成 500 条数据(ToolGrad-500),微调 Gemma-3 的 1B、4B、12B 三个参数规模,得到 ToolGrad-1B/4B/12B。
在工具集与 ToolBench 不同的伯克利函数调用排行榜(BFCL)上,ToolGrad-12B 得分 83.1,对比 gemini-2.5-pro 的 83.2、claude-4.5 Opus 的 82.8、gpt-5 的 74.4。
团队称数据生成通过率接近 100%(图表为 99.8%),并观察到用 gemini-2.5-flash-lite 生成的数据微调出的 Gemma-3-12B 可超过其"教师模型"。 博客注明该研究主要由 Zhongyi Zhou 在谷歌访问研究员任期内完成。
ToolGrad 的价值点在于把数据生成的"命中率"问题换成了工程上更可解的排序问题:传统做法让智能体从用户问题出发反复试错搜索调用链,绝大多数尝试会失败; 改成先生成已验证的调用链、再倒推问题,就几乎不存在"找不到解"的情况。 这可能降低工具调用数据集的构建成本,让中小参数模型通过高质量数据获得接近大模型的表现。
但 BFCL 是与 ToolBench 工具集不同的学术基准,分数只反映受控环境下的函数调用能力,与多步骤、长时程、带真实副作用的业务流程仍有距离; 团队也把"扩展到更动态、更庞大的 API(应用程序编程接口) 生态"列为未来工作,说明当前规模有限。
后续观察信号
- ToolGrad 与文本梯度原始方法 TextGrad 在优化目标上有何差异
- 团队提到的"学生在数据生成中超过教师"现象是否在其他任务上复现
- ToolGrad-500 数据量仅 500 条,规模扩大后是否仍保持优势
