研究用五维心理测量框架评估GPT-5.2情绪语言输出:预测指标不足以衡量心理构念
韩国研究团队在《医学互联网研究杂志》发表摘要级研究,将五个心理测量评估域用于GPT-5.2(OpenAI,美国人工智能公司的大语言模型,LLM)从日常语音叙述中提取的13项语言特征。
结果显示提取重复性高、汇聚效度因构念而异,且个体内与个体间效应出现分歧; 研究者认为预测指标不足以评估LLM心理测量输出,此类测量仅可作为现有筛查工具的补充用于纵向监测,而非独立诊断工具。
该研究从279名呼叫中心员工处采集15天共3556人日的生态瞬时评估日常语音叙述,用GPT-5.2(OpenAI)提取13项语言特征,在五个测量域评估,并以LIWC(语言探究与词数统计,版本22)作为词典基线。 摘要报告:平均组内相关系数=0.987; 与词典工具Spearman相关系数0.08至0.79; 同日压力个体内追踪负性情绪β=0.68;
四臂比较中LLM(大语言模型)特征使日常压力解释方差从13.2%升至30.4%,词典基线为16.9%; 方法最大不一致样本中专家盲评偏好LLM剖面83.7%(261/312); 53%(35/66)假阳性归因反映参考标签局限而非模型失败; 改用Google(谷歌) Gemini 2.5 Flash重提取后个体层面r=0.94。
摘要称三个现象仅在测量导向评估下可见:个体内与个体间效应分歧、参考标签局限为主要误差来源、特征含义受个体差异调节。
该研究验证的是LLM(大语言模型)输出作为心理测量工具的性质,不是心理干预效果。 摘要支持的一个具体理解是:仅用预测准确率评估LLM心理输出,会掩盖个体内效应与个体间效应方向不同、以及参考标签自身缺陷成为主要误差来源这两类测量问题。 因此任何基于LLM的心理状态评估产品,需要分别验证个体内纵向追踪与个体间比较能力,不能混用同一套指标。
样本为韩国呼叫中心员工,外推到学生或一般用户需谨慎; 结论限于摘要可见内容。
后续观察信号
- 获取论文全文以确认五个测量域的具体操作定义与判定阈值
- 查找针对青少年或学生群体的类似LLM(大语言模型)心理测量验证研究
- 了解LIWC(语言探究与词数统计)与LLM(大语言模型)特征在学生日记文本上的表现差异
