MIT(美国麻省理工学院)团队为机器人记忆加“不确定性量化”,可自行纠错错标物体
麻省理工学院(MIT)研究者提出UQ-DAAAM(Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment,即“任意物体、任意地点、任意时刻描述的不确定性量化”),让机器人在移动中比较同一物体不同视角的描述,估计视觉语言模型(VLM)对已存记忆的把握程度,再补拍视角修正错标。
论文称该方法能解决约92%物体的歧义,物体描述准确率较现有最优方法提升5%,且每个物体仅需额外两张描述。 研究尚未在真实家庭或工业场景部署验证。
论文由MIT(美国麻省理工学院)航空与航天系(AeroAstro)副教授、信息与决策系统实验室(LIDS)首席研究员、MIT SPARK实验室主任Luca Carlone任资深作者,共同第一作者为MIT研究生Harry Zhang和Nicolas Gorlo; 成果将在神经信息处理系统大会(NeurIPS)发表。
方法在原有DAAAM机器人记忆系统基础上加入不确定性量化:先计算VLM(视觉语言模型)生成描述词句的置信度,再与不同视角下同一物体的描述做一致性比对,二者融合为单一不确定性数值; 超过阈值时,用一条数学上可证明最优的启发式规则挑选额外视角,不需重跑VLM,以LLM(大语言模型)融合新旧描述并给新描述和歧义更小的描述更高权重。
原文示例中,机器人可能把灰色烟囱误标为屋顶上的松鼠。 研究中该修正步骤对约92%的物体消除歧义,每个物体仅需两张额外描述,物体描述准确率较现有最优方法提高5%; 在物体、位置、最后见到时间的问答上也优于基线。 该研究部分获美国陆军研究实验室和美国海军研究办公室资助; Carlone目前在亚马逊学术休假,原文注明该工作完成于MIT、与亚马逊无关。
机器人长期记忆的薄弱点不在“存不下”,而在“存错了还继续用”。 把不确定性量化和主动取景结合,等于让机器人在运行中自查记忆,这对多步骤任务(收拾餐桌、与人协同装配)是前置条件。 不过92%和5%是研究者自设基准下的结果,真机长期运行、动态遮挡与算力约束下的表现仍需验证。
后续观察信号
- UQ-DAAAM的计算开销在嵌入式机器人上如何分布
- 误修正(原本正确的记忆被改写)的比例是多少
