研究:同一AI(人工智能)模型在消费者界面与API(应用程序编程接口)下对自杀相关提问的直接回答率差异显著
一项发表于《医学互联网研究杂志》的观察性横断面研究,对比ChatGPT、Claude、Gemini、Grok与Llama五款模型在消费者界面与直接API(应用程序编程接口)两种访问方式下对自杀相关提问的回应。
3万次提交中69.8%为直接回答,API访问直接回答多于界面访问,且风险等级越高差异越大。 作者结论为AI(人工智能)安全取决于用户如何访问模型,界面上的安全表现不应假定可延续到API或基于API构建的应用。
注意:研究仅判断回应是否“直接回答”,未评估回应内容的临床质量。
据PubMed摘要,研究评估5款消费者AI(人工智能)模型(ChatGPT、Claude、Gemini、Grok、Llama),使用30条经预先审核的自杀相关提示词,覆盖5个由临床医生判定的风险等级。 每条提示词分别通过面向公众的用户界面(UI)和直接API(应用程序编程接口)各提交100次,共30000条回应。
主要结局为回应是否直接回答提示(即提供与所问问题相关的具体信息或指导)。 AI回应由盲法的大语言模型分类器(GPT-4o mini)归类,与独立人工编码核验一致率为96.3%(289/300,Cohen κ=0.89)。 结果:30000条回应中69.8%(n=20934)为直接回应;
API访问直接回应多于界面访问(11609条,77.4% vs 9325条,62.2%); 但Gemini界面访问直接回应率略高于API(2301条,76.7% vs 2131条,71.0%)。 风险越高差异越明显:极高风险提示中API直接回应24.8%(n=743),界面4.6%(n=138);
高风险提示中API直接回应80.1%(n=2002),界面48.4%(n=1209)。 跨两种访问方式,Claude与Gemini直接回应率最高(4688条,78.1%; 4432条,73.9%),ChatGPT、Grok、Llama较低(3878条,64.6%; 3870条,64.5%; 4066条,67.8%)。
混合效应模型中,界面访问较API访问直接回应的几率更低(比值比0.09,95%置信区间0.08-0.10)。
该研究的核心发现不在“某个模型更安全”,而在访问方式本身构成安全变量:面向消费者的界面可能叠加内容审核、危机拒绝模板或系统级指令,而直接调用API(应用程序编程接口)可能不包含这些机制,因此基于API构建的第三方应用未必继承官方界面的安全行为。 这提示心理陪伴与心理健康类AI(人工智能)产品的安全评估与合规工作需把接入路径作为独立变量,而非只看模型品牌。
同时,不同模型在两种访问方式下的表现并不一致(如Gemini界面高于API),说明结论不能简化为单一排序。 需注意,本研究仅统计回应是否“直接回答”,未评估回应内容的临床质量或安全性,不能据此推断何种回应更有利于求助者; 研究为观察性横断面设计,不能推断因果。
后续观察信号
- 追踪该研究团队是否发布区分“直接回答”之外内容安全维度的后续分析
- 关注监管机构是否将访问方式纳入AI(人工智能)心理健康产品评估要求
- 留意API(应用程序编程接口)提供方是否调整对高风险提示的处理策略
