谷歌研究发布 Diffusion Controller(扩散控制器),用“转向阻尼”网络控制闭源图像生成模型
谷歌研究(Google,谷歌 Research,美国科技公司谷歌的研究部门)提出 Diffusion Controller(扩散控制器),把图像生成的去噪过程重新表述为连续控制问题:一个轻量“转向阻尼”网络在冻结的主模型之外动态修正生成轨迹,可接入访问受限的闭源模型。
团队称,该灰色盒方案在 Stable Diffusion v1.4(稳定扩散模型1.4版)上以更少内部层改动超过 LoRA(低秩适配)的 HPS-v2(人类偏好分数第二版)胜率;
完全白盒版本相对基线模型取得90%胜率。 研究强调该方法仍属图像生成控制技术,未涉及临床或医疗应用。
研究以 Stable Diffusion v1.4(稳定扩散模型1.4版)为骨干,在监督微调、奖励加权损失和 PPO(近端策略优化)三种微调机制下评测,采用 HPS-v2(人类偏好分数第二版)衡量生成图像与提示词的对齐程度。 团队实现四种网络结构:灰色盒方案 Diffusion Controller,输入为中间反向均值并带侧适配器流;
朴素设计 Diffusion Controller-Naive; 白盒联合训练方案 Diffusion Controller-J; 白盒分别训练方案 Diffusion Controller-S。
谷歌研究称,在监督微调和奖励加权损失两条路径中,灰色盒转向阻尼网络在 HPS-v2 胜率上超过白盒参数高效方法 LoRA(低秩适配),且改动的模型内部层明显更少; 完全解锁的微调版本相对基线模型达到90%胜率,人类评估面板中在复杂多属性测试提示下取得最佳主观质量和提示匹配结果。 运行时通过调整单一推理阶段引导强度参数,可连续调节约束强度。
团队未披露该方法的临床或医疗应用结果。
这项工作对 AI(人工智能)科研与生命科学赛道的直接意义不在图像本身,而在方法论:它把“冻结大模型加轻量控制层”做成可优化框架,并给出灰色盒(无法访问内部权重)条件下的接入路径。 对生物医药基础模型、蛋白质设计模型等因数据或商业原因难以开放权重的场景,同类思路可降低微调门槛。
需要区分的是,HPS-v2 属于人类偏好自动代理指标,胜率反映生成结果与提示词的匹配度,不等同于专家评审或临床有效性验证; 灰色盒方案相对 LoRA 的优势目前来自谷歌研究自报实验。
后续观察信号
- Diffusion Controller 论文中的完整评测设置与误差范围
- 灰色盒接入是否依赖模型输出中间统计量的接口开放
- 同类控制方法在分子与蛋白质生成任务上的公开验证
