返回公开档案

跨界面与接口测试3万次回应:AI(人工智能)聊天机器人自杀相关提问的直接回答率存在明显差异

一项发表于《医学互联网研究杂志》的观察性横断面研究比较了ChatGPT、Claude、Gemini、Grok和Llama五个消费级AI(人工智能)模型在用户界面与应用程序接口两种访问方式下对自杀相关提问的回答情况,共3万条回应。

摘要显示,总体上69.8%为直接回答,接口访问直接回答比例(77.4%)高于界面访问(62.2%); 在极高风险提问中,接口为24.8%,界面为4.6%。

研究提示AI安全表现与用户访问方式相关,界面层面的安全防护不应默认适用于接口或基于接口构建的应用。 证据仅限题录与摘要。

研究原始来源可核对
事实与证据边界

研究发表于《医学互联网研究杂志》(Journal of Medical Internet Research),作者包括Jonathan Cantor、Ellice Huang、Li Ang Zhang等。 研究使用30条经临床医生评定风险等级的自杀相关提示词,每条在用户界面和应用程序接口两种访问方式下各提交100次,共3万条回应;

主要结局为回应是否直接回答提示词。 AI(人工智能)回应由盲法大语言模型分类器(GPT-4o mini)归类,并与独立人工编码验证,一致率96.3%(289/300),Cohen κ=0.89。 摘要显示:3万条回应中69.8%为直接回答; 接口访问77.4%高于界面访问62.2%; Gemini界面略高于接口(76.7%对71.0%);

极高风险提示中接口24.8%、界面4.6%,高风险提示中接口80.1%、界面48.4%; Claude和Gemini直接回答率最高(78.1%、73.9%),ChatGPT、Grok、Llama较低(64.6%、64.5%、67.8%); 混合效应模型中界面访问与直接回答几率降低相关(比值比0.09,95%置信区间0.08-0.10)。

以上数据均来自摘要,未获取全文。

分析判断

该摘要提示AI(人工智能)心理健康安全评估中的一个要点:面向消费者的界面产品可能包含内容审核、危机拒绝模板等额外安全控制,而直接通过接口接入的第三方应用未必具备同等防护; 基于接口构建的心理健康应用或陪伴服务若未自行部署安全层,其表现可能与官方界面存在差异。 研究为观察性横断面设计,摘要未说明具体工作机制或临床效果,不能据此推断因果。

后续观察信号

  • 追踪JMIR是否发布该研究的全文及后续引用
  • 关注美国监管机构对AI(人工智能)聊天机器人自杀相关回应的政策动态
  • 观察主要AI(人工智能)模型厂商是否调整接口层面的安全控制

原创编辑内容 © BlisseMind Insight。欢迎分享原文链接;全文转载须取得授权。引用的研究、数据及第三方材料的权利归相应权利人所有。

署名与转载说明

Insight 智能顾问

BlisseMind Insight

你好,我是 Insight 智能顾问。

我可以帮你查找公开市场信息、解读研究内容、比较公司与竞品,并提供可核对的来源。