研究用现成大语言模型从青少年病历中提取抑郁症状,试点最高F1为0.65
一项发表于《JMIR Formative Research》的摘要级试点研究,用Llama、FLAN-T5、Phi三种现成大语言模型(LLM)识别15至17岁患者病历中的抑郁症状。
全部模型均优于关键词匹配基线,FLAN-T5在精确率与召回率间较均衡,但样本仅22份人工标注病历,作者明确结论需在更广人群与其他心理疾病中进一步验证,筛查不等于诊断。
研究原始来源可核对
事实与证据边界
研究取用美国辛辛那提儿童医院医疗中心15至17岁、共924名抑郁或相关情绪障碍青少年患者的电子健康记录(EHR)自由文本,结合贝克抑郁量表(BDI)与患者健康问卷(PHQ-9)建立16类症状标签,对22名患者病历人工标注。 FLAN-T5平均F1-score 0.65、精确率0.78,识别睡眠问题F1 0.92、自我厌恶F1 0.80;
Phi精确率0.44、召回率0.60; Llama 3召回率0.90但倾向过度泛化。 表现最好的模型F1比词匹配基线高0.43。 作者称结果需更广人群和其他心理健康状况进一步验证。
分析判断
这是摘要级证据,只能说明在单一医院、极小标注集上现成模型的可行性,不能外推为诊断准确率或临床有效性; Llama高召回低精确提示用于预警时误报成本需单独评估。 对校园场景,意义在于验证“从自然语言文本中结构化症状线索”这条路可走,而非直接采用某一模型。
后续观察信号
- 获取论文全文核对标注协议与提示词设置
- 跟踪FLAN-T5在小样本之外的泛化表现
