预印本评估十款语言模型:用于心理危机场景可能有害,研究提出分级自主框架
一篇尚未经同行评审的预印本提出按自主程度分级管理心理健康用AI(人工智能),并请精神科临床医生设计16个问题评估十款语言模型。 摘要称,多数被测模型若用于心理危机可能有害,表现为过度谨慎或迎合、缺乏必要防护。
作者主张模型开发者承担责任。
预印本研究原始来源可核对
事实与证据边界
该预印本由Declan Grabb、Max Lamparth、Nina Vasan撰写,发表于openRxiv,未注明同行评审状态。 摘要显示:研究提出区分AI(人工智能)自主级别、列出伦理要求并定义有益默认行为的结构化框架; 用16个覆盖精神病性症状、躁狂、抑郁、自杀念头和杀人倾向的问题评测十款当前语言模型,问题设计与回答评价由临床医生(医学博士)完成。
结论为现有语言模型不足以达到能把握细微差别与语境的人类专业人员水准; 多数被测模型若在心理危机中被使用可能造成伤害,未能保护用户并可能加重既有症状。 摘要含自杀与自伤内容提示。 以上为摘要可见信息,非全文。
分析判断
这是研究层面的风险证据,而非产品评测或临床有效性结论:样本为十款模型与16个问题,属摘要级证据,未给出模型名称、评分方法与具体错误分布。 其价值在于把“自主程度”作为治理维度提出,提示以聊天演示替代专业判断的风险; 但不宜据此推断任一具体产品的安全性或因果性伤害。
后续观察信号
- 获取全文核对16个问题的设计与评价者一致性
- 确认十款被测模型的名称与版本
