研究:ChatGPT与LLaMA-2回答戒毒康复问题时出现错误急救热线等危险信息
一项发表于《Psychiatry Research》的摘要研究让临床医生评估ChatGPT和Meta(美国科技公司)的LLaMA-2对网络康复论坛真实提问的回答。
医生认为回答整体质量高,但发现忽视自杀意念、错误急救热线、支持居家戒毒等危险错误,且同一问题换种问法答案会不一致。 这提示AI(人工智能)在成瘾治疗等高风险场景中,表面可信的回答可能夹杂致命医疗建议。
研究论文原始来源可核对
事实与证据边界
研究从在线康复论坛收集真实物质使用与康复问题,用ChatGPT和Meta(美国科技公司)的LLaMA-2生成回答,再由物质使用障碍(SUD)临床医生评分。 医生将AI(人工智能)回答评为高质量,但同时发现危险虚假信息,包括对自杀意念的忽视、错误的紧急求助热线、对居家戒毒的认可; AI系统还会因问题措辞不同给出不一致建议。
作者单位为美国国家药物滥用研究所(NIDA)、宾夕法尼亚大学和纽约大学等,论文发表于Psychiatry Research,本次仅依据摘要。
分析判断
摘要把问题指向“表面质量”与“实际安全性”的落差:医生评分高说明语言流畅度和表面相关性可能掩盖错误,而自杀风险、急救信息和戒毒方式属于容错极低的环节。 措辞敏感性意味着单次演示难以代表部署表现。 该研究为摘要级证据,不能据此推断临床有效性或伤害发生率。
后续观察信号
- 核查论文全文中的样本量、评分方法与错误统计
- 关注监管或行业标准是否对AI(人工智能)提供急救信息提出要求
