韩国研究:70亿至80亿参数本地小模型在支持性与文化适配度上接近GPT-4o,安全性评分仍显著落后
PubMed收录的《JMIR AI》摘要显示,研究者用韩国心理健康App(Maeumpyeonuijeom)的1558条日记式咨询互动微调三款70亿至80亿参数小模型,并由10名精神科专科医生按个体化、支持性、文化适配性和安全性4个维度评分。
SKT A.X 4.0 Light在支持性与文化适配度上与GPT-4o无统计学差异,但所有小模型的安全性评分均显著低于GPT-4o。
研究为本地部署、保护隐私的心理AI(人工智能)提供可行性线索,但安全性差距意味着仍需人类专家监督。
研究基于韩国心理健康移动应用Maeumpyeonuijeom的1558条日记式咨询互动构建数据集,对SKT A.X 4.0 Light(7B)、LG EXAONE 3.5(7.8B)和Meta Llama 3.1(8B)进行高秩LoRA(低秩适配,r=256)微调20轮,并用GPT-5作为LLM-as-a-Judge(大模型裁判)优化推理参数。
10名平均临床经验约10年的精神科专科医生对50个咨询场景按个体化、支持性、文化适配性和安全性4个维度进行5分制评分。 SKT A.X 4.0 Light在支持性(均值3.39 vs 3.45,P=.26)和文化适配度(均值3.30 vs 3.29,P=.58)上与GPT-4o无统计学显著差异,文化适配度排名第一。
评分者一致性方面,本地小模型在文化适配度上的ICC(组内相关系数)为0.575,GPT-4o为0.211。 GPT-4o的安全性评分显著高于所有小模型(P<.001)。 LLM-as-a-Judge与人类评价呈中至良好相关,但在安全性评分上出现天花板效应。 该来源为PubMed摘要,未获取全文。
研究提供的可核对比较证据是:小参数模型经本地语料微调后,在支持性和文化适配度上可接近通用大模型,这为隐私敏感场景下的本地化部署提供了技术路径线索。 但安全性维度的一致性落后,说明文化适配与临床安全并非同一能力,不能把“无显著差异”扩展为整体等效。 LLM-as-a-Judge在安全性上出现天花板效应,也提示自动评分不宜替代专家审核。
后续观察信号
- 检索该研究的全文及补充材料
- 追踪韩国心理健康App场景中本地模型的实际部署与监管表态
