佛罗里达大学团队将发布大模型“风险态度”基准,发现模型跨任务风险倾向一致且与人类判断存在差距
美国佛罗里达大学(University of Florida)工程学教授Eric Jing Du团队从“风险态度”而非只从性能评估大语言模型(LLM)。
他们让模型在无人机路径规划、投资组合和医疗分诊三类高风险任务中反复作答,发现模型的风险倾向跨任务保持一致,且人类专家在隐去模型名称后对其风险水平的判断与实测存在落差。
该研究将于2026年12月在NeurIPS(神经信息处理系统大会)发布,目前为会议接收成果,尚非同行评审期刊论文。
研究团队在无人机在风大且拥挤城市中选择路径、金融科技环境中依据参数选择股票与债券组合、医疗分诊中判断患者所需照护资源这三类任务上测试了OpenAI(美国人工智能公司)、Meta(美国科技公司)、Google(谷歌)等公司的前沿模型。 团队通过反复清除同一患者信息、重复提问来排除对话记忆,数百次重复后模型评估结果仍高度一致。
作者发现同一模型在不同任务中的风险倾向一致,并称经人类反馈训练前后模型风险态度出现显著差异,认为各公司采用的训练方式会塑造模型“性格”。 团队还让人类领域专家在隐去模型标签的情况下按风险高低给模型决策日志排序,发现人类感知与模型实际风险倾向之间存在显著落差。
研究主要由美国空军科学研究办公室(Air Force Office of Scientific Research)资助,部分动机是作战场景中人与AI(人工智能)工具的一致性。 论文合著者包括Bowen Sun、Rui Min、Xianyao Li、Yuxi Wang、Ryan Qi Wang和Gilbert Yang Ye;
论文题为“Benchmarking Risk Attitudes of Large Language Models”。
这项工作的价值在于把模型评估从“任务得分”扩展到“决策倾向”,并给出可重复的测量方法:固定任务、抹除记忆、重复采样,再看结果是否稳定。 对采购和使用模型的一方而言,模型来源或知名度不能替代对风险倾向的实测,尤其在对安全性敏感的场景。 需要区分的是,论文尚未正式发表,结论基于会议接收版本,任务设计和评分方法仍待公开论文细节检验;
模型风险倾向“跨任务一致”也不等于能外推到所有场景。
后续观察信号
- 获取论文预印本,核对三类任务的评分口径与人类专家样本规模
- 比较不同厂商模型在相同任务下的风险倾向差异是否稳定
- 追踪NeurIPS 2026该论文的评审意见
