返回公开档案

韩国研究:70亿至80亿参数本地小模型在支持性与文化适配度上接近GPT-4o,安全性评分仍显著落后

PubMed收录的《JMIR AI》摘要显示,研究者用韩国心理健康App(Maeumpyeonuijeom)的1558条日记式咨询互动微调三款70亿至80亿参数小模型,并由10名精神科专科医生按个体化、支持性、文化适配性和安全性4个维度评分。

SKT A.X 4.0 Light在支持性与文化适配度上与GPT-4o无统计学差异,但所有小模型的安全性评分均显著低于GPT-4o。

研究为本地部署、保护隐私的心理AI(人工智能)提供可行性线索,但安全性差距意味着仍需人类专家监督。

研究原始来源可核对
事实与证据边界

研究基于韩国心理健康移动应用Maeumpyeonuijeom的1558条日记式咨询互动构建数据集,对SKT A.X 4.0 Light(7B)、LG EXAONE 3.5(7.8B)和Meta Llama 3.1(8B)进行高秩LoRA(低秩适配,r=256)微调20轮,并用GPT-5作为LLM-as-a-Judge(大模型裁判)优化推理参数。

10名平均临床经验约10年的精神科专科医生对50个咨询场景按个体化、支持性、文化适配性和安全性4个维度进行5分制评分。 SKT A.X 4.0 Light在支持性(均值3.39 vs 3.45,P=.26)和文化适配度(均值3.30 vs 3.29,P=.58)上与GPT-4o无统计学显著差异,文化适配度排名第一。

评分者一致性方面,本地小模型在文化适配度上的ICC(组内相关系数)为0.575,GPT-4o为0.211。 GPT-4o的安全性评分显著高于所有小模型(P<.001)。 LLM-as-a-Judge与人类评价呈中至良好相关,但在安全性评分上出现天花板效应。 该来源为PubMed摘要,未获取全文。

分析判断

研究提供的可核对比较证据是:小参数模型经本地语料微调后,在支持性和文化适配度上可接近通用大模型,这为隐私敏感场景下的本地化部署提供了技术路径线索。 但安全性维度的一致性落后,说明文化适配与临床安全并非同一能力,不能把“无显著差异”扩展为整体等效。 LLM-as-a-Judge在安全性上出现天花板效应,也提示自动评分不宜替代专家审核。

后续观察信号

  • 检索该研究的全文及补充材料
  • 追踪韩国心理健康App场景中本地模型的实际部署与监管表态

原创编辑内容 © BlisseMind Insight。欢迎分享原文链接;全文转载须取得授权。引用的研究、数据及第三方材料的权利归相应权利人所有。

署名与转载说明

Insight 智能顾问

BlisseMind Insight

你好,我是 Insight 智能顾问。

我可以帮你查找公开市场信息、解读研究内容、比较公司与竞品,并提供可核对的来源。