返回公开档案

小型研究:ChatGPT 与 Google(谷歌) Gemini 对房颤的患者教育解释质量总体无显著差异

一项仅基于摘要可见内容的小型研究,让 ChatGPT 与 Google Gemini(均为生成式 AI(人工智能) 工具)分别解释心房颤动(房颤)及其治疗,并由 28 名参与者评分,其中包括心内科医生、心内科专科培训医生和 17 名非医学背景大学毕业生。

结果显示,两个平台的总体质量无显著差异; 但医生更认可对“不治疗后果”的解释,非医学读者则更认可版式与结构。 这有助于理解:评估面向患者的 AI 教育内容时,医生与普通读者的判断标准并不一致。

研究原始来源可核对
事实与证据边界

研究把提示词“向患者解释心房颤动及其治疗方法”分别输入 ChatGPT 和 Google(谷歌) Gemini,并将两个回答与基于患者教育材料评估工具(PEMAT)和 DISCERN 标准制作的问卷,在 2024 年 9 月至 10 月发放给潜在参与者。

28 名参与者包括心内科医生、心内科专科培训医生和 17 名非医学专业人士(非医疗领域就业的大学毕业生); 问卷采用 5 点李克特量表,并用 Wilcoxon 符号秩检验比较均值。 总体质量在两个平台间未见显著差异。

医生对偏倚的评分高于非医学专业人士(均值 3.82 对 4.33,P=.04),对不治疗后果的解释评分也更高(2.85 对 1.86,P=.005);

非医学专业人士则在视觉提示(3.97 对 2.48,P<.001)、信息性标题(4.77 对 3.95,P=.001)、分节简洁(4.71 对 4.29,P=.04)、可识别的患者行动(4.21 对 3.19,P=.04)和补充资源引用(2.65 对 1.71,P=.006)上评分更高。

作者称这是首个评估上述平台房颤教育质量的研究,属试点研究,并呼吁后续开展纵向研究及对临床结局影响的评估。 注意:本条仅依据摘要,未阅读全文; 样本仅 28 人,不能推断真实临床效果。

分析判断

这条结果值得教育产品团队注意的地方不在“哪个模型更好”,而在评价者身份会改变结论:医生更看重是否讲清不治疗的后果与潜在偏倚,普通读者更看重标题、分节、视觉提示等可用性结构。 做面向公众的 AI(人工智能) 学习或健康科普产品时,若只用专业人士评审,可能低估普通用户的阅读障碍; 只用普通用户评审,又可能放过关键风险信息缺失。

样本小、单次提示、单病种,均限制外推。

后续观察信号

  • 复现研究是否采用更大样本和多轮提示?
  • 是否有研究报告 AI(人工智能) 生成解释对患者实际理解水平的直接影响?

原创编辑内容 © BlisseMind Insight。欢迎分享原文链接;全文转载须取得授权。引用的研究、数据及第三方材料的权利归相应权利人所有。

署名与转载说明

Insight 智能顾问

BlisseMind Insight

你好,我是 Insight 智能顾问。

我可以帮你查找公开市场信息、解读研究内容、比较公司与竞品,并提供可核对的来源。