多智能体AI(人工智能)模拟器用于临床推理练习:120份对话记录中92%贴合预设病例,但诊断类智能体在59%记录中提前给出解读
美国辛辛那提大学等机构研究者在《Diagnosis》发表摘要级研究:2024年秋季,175名二年级医学生使用多智能体大语言模型模拟器MAESSCR完成三次临床推理对话,6名临床教育者评估随机抽取的120份记录。
92%记录遵循预设病例细节,但28%的记录中病史/体检智能体、59%的记录中诊断/处置智能体在学生自行解读前先给出解释。 属早期证据,仅据摘要,未核验全文。
研究由辛辛那提大学医学院、辛辛那提儿童医院医疗中心等机构作者完成,发表于《Diagnosis》。
MAESSCR(Multi-Agent Educational Scenario Simulator for Clinical Reasoning,临床推理多智能体教学情景模拟器)由多个基于大语言模型(LLM,即用大规模文本数据训练的语言模型)的智能体分别扮演患者、体格检查、诊断检测等角色,与学习者进行文本对话。
2024年秋季,175名二年级医学生将其作为课程作业完成三次对话。 6名临床教育者自建是/否评分工具,从智能体回答真实性、对预设病例细节的遵循、平台功能、对医学生独立推理的干扰四个维度,对每病例随机抽取40份、共120份记录评分,并辅以定性叙述复核。 结果:92%(110/120)遵循预设细节; 改变诊断方向的信息占2.5%(3/120);
不真实患者表现12%(14/120); 技术问题17%(20/120); 智能体提前解读检查结果造成干扰,病史/体检智能体占28%(34/120),诊断/处置智能体占59%(71/120)。 摘要称多数干扰轻微,不太可能影响整次对话。
这项研究把多智能体协作中一个常被忽略的问题量化了:各角色智能体若掌握超出本角色的信息并抢先给出结论,就会替学习者完成推理环节,使练习失去意义。 对Agent(智能体)产品设计而言,角色边界与信息披露时机不只是拟真度问题,而是决定用户能否在任务中形成独立判断的结构性参数; 59%这一比例说明诊断类角色比问诊类角色更容易越界。
需注意这是单校课程场景、摘要级证据,评分工具由研究者自建,摘要未披露评分者一致性,尚不能外推为教学有效性结论。
后续观察信号
- MAESSCR的角色提示词与信息披露策略是否公开
- 59%诊断角色干扰在不同病例难度下是否稳定
- 评分者一致性数据是否在全文披露
