英国医学院一年期随机对照试验:AI(人工智能)患者模拟器练习未显著优于常规训练
《Journal of Medical Internet Research》(《医学互联网研究杂志》)刊出摘要显示,英国一所医学院将50名学生随机分为AI(人工智能)组(22人,用网页端患者模拟聊天机器人SimPatient)与对照组(28人),进行一学年沟通技能训练。
AI组描述性提升更大,但组间差异无统计学意义; 内在动机与行为学习是技能变化的显著预测因素。 证据仅限摘要。
研究采用非盲随机对照设计,在英国一所医学院开展,为期一个学年。 对照组n=28(56%),AI(人工智能)组n=22(44%),AI组通过网页浏览器使用患者模拟聊天机器人SimPatient练习。
效果以标准化客观结构化临床考试(OSCE)成绩相对及格线的表现衡量,采用配对t检验与双重差分(DID)分析组间和跨时间变化,并用潜变量变化分数模型识别技能变化的预测因素; 另对AI与学生的6120条对话评论做情感分析,并以系统质量问卷收集反馈。 结果显示:内在动机与行为学习的提升是沟通技能变化的显著预测因素;
AI组沟通技能描述性增幅大于对照组,但组间差异未达统计学显著。 AI组内部,对话语气更趋向“化解”的会诊与技能提升存在描述性关联,但子样本仅n=17,作者将其列为探索性发现; AI组对AI使用的信心与技能提升呈负相关,同时该组对系统总体满意度较高。
作者结论称,模拟器能恰当回应并提供可用的基础沟通行为练习环境,但在捕捉真实临床情境的情感复杂性、脆弱性与叙事不可预测性方面存在局限; 生成式AI(GenAI)有望支持基础临床沟通训练并营造积极练习环境,从而促进动机与行为投入。
这是少见的、以随机对照方式检验生成式AI(人工智能)教学工具在真实课程中一学年效果的研究,且结论偏“中性”:AI练习没有显著跑赢常规训练。 对产品团队的启示是,满意度高与技能提升并不等价,AI组的“AI使用信心”反而与提升负相关,提示流畅的对话体验可能被误当作学习成效;
对研究者的价值在于,研究把动机与行为投入列为显著预测因素,并把情感复杂性列为模拟器的能力边界。 需注意摘要未披露效应量、评分者一致性等细节,不能据此断言AI模拟训练无效,只能说不优于常规训练。
后续观察信号
- 核实OSCE评分者间一致性与盲法细节
- 追踪该团队是否发布更长周期随访数据
