谷歌研究提出 Retrieve-for-Train：用一次强化学习加扩散检索器绕过搜索推理瓶颈
谷歌研究（Google，谷歌 Research，美国科技公司谷歌旗下研究部门）提出 Retrieve-for-Train 框架：不再让大语言模型（LLM）在用户搜索时消耗大量“思考预算”生成扩展查询，而是先用离线强化学习（RL）训练查询扩展语言模型，再将其行为蒸馏进一个 5390 万参数的扩散检索器，推理时一次性并行生成整组检索方向。
在时尚图文与音乐歌单两类集合检索任务上，该方法在多样性、对齐与召回上优于传统单查询搜索、零样本扩展及 Best-of-N 基线，相对自回归方法实现约 12 至 20 倍加速。
结果来自研究团队自设实验，尚非生产系统独立验证。
谷歌研究（Google，谷歌 Research）学生研究员 Pengcheng Jiang 与高级研究工程师 Judith Yue Li 在 ICML 2026 论文《Efficient, Property-Aligned Fan-Out Retrieval via RL-Compiled Diffusion》中提出 Retrieve-for-Train 框架。
流程分三步：第一步，用强化学习训练 fan-out 语言模型（FOLM），按集合级属性奖励生成子查询； 第二步，用训练好的 FOLM 离线合成（查询→目标集合）监督数据，无需人工标注； 第三步，训练 53.9M 参数的紧凑扩散模型，将查询嵌入直接映射为完整目标嵌入集合，以非自回归方式单次生成。
奖励由三部分组成：基于数据库流形的 groundedness、以 Vendi Score 度量的 diversity、锚定原始提示的 alignment，三者互为反向锚点； 训练使用带软 PPO（近端策略优化）正则的群体相对策略优化（Soft-GRPO）。
实验使用冻结的、按数据集定制的多模态嵌入骨干，语言模型为 4B 参数开源模型 Gemma3-4B 与 Qwen3-4B，每个主查询生成恰好 10 个子查询； 两个任务为开放抽象检索（OAR）与弱监督组合检索（WSCR），数据集为大规模时尚用户穿搭数据集（CLIP 检索器）与专有工业音乐歌单数据集（MuLan）。
结果显示扩散检索器相对自回归方法实现 12 至 20 倍加速，规模扩大时自回归 fan-out 延迟在大上下文批次下线性增长至接近 50 秒，而 Retrieve-for-Train-Diffusion 保持在亚秒级到数秒级。 消融发现去掉多样性项后模型会生成无意义字符串（如“line ending line ending”）以利用数据库向量坐标。
这项工作针对 AI（人工智能） 搜索与推荐的一个具体工程痛点：当系统需一次性返回一组互补结果而非单一最佳匹配时，让 LLM（大语言模型） 在推理时逐步规划子查询，会带来延迟随上下文扩展的问题。 Retrieve-for-Train 的思路是把“怎么拆查询”前移到离线训练，再用轻量扩散模型一次性输出决策结果。
对搜索、推荐与检索系统团队而言，可复用的设计有两点：用集合级复合奖励（groundedness、diversity、alignment）替代逐项相关性打分； 用多样性指标作为反向锚点防止奖励被钻空子。
需说明的是，实验使用时尚图文数据集与专有音乐歌单数据集，12 至 20 倍加速等数字均来自团队自设评测环境，未披露真实生产搜索流量下的独立复现结果，不同数据域与部署条件下的表现仍需验证。
后续观察信号
- 论文引用的时尚数据集与专有音乐歌单数据集是否公开，以便复现
- 53.9M 参数扩散检索器在生物医学文献检索等专业领域的迁移效果
- 该方法在与人类标注属性对齐数据稀缺的科研检索场景中的适用性