跨模型双语评测：牙科正畸问答中AI（人工智能）答案长度左右评分，英土语质量差距显著
一项针对Claude、GPT-4o与Gemini三款大模型（LLM）回答正畸患者问题的双语评测（摘要级证据）发现：未校正时Gemini英文总分最高，但回答长度与得分强相关，长度校正后其共情、全面性、个性化优势消失、总分系数转负。
英文各维度显著优于土耳其文，且Gemini土耳其文有80%输出被截断。 研究提示面向患者的LLM（大语言模型）部署需按语种做质量保证，仅英文评测不能作为安全代理。
研究比较Claude Opus 4.5、GPT-4o、Gemini 2.5 Flash三款LLM（大语言模型），以60个标准化患者场景分别用英文和土耳其文提示，通过无状态单轮API（应用程序接口）调用、统一token上限，共生成360条回答。 三名盲法正畸医生按共情、准确性、全面性、个性化、安全性、患者中心性六个维度以1-5分打分。
48条土耳其文Gemini输出（80%）在生成中途被截断并排除，最终有效回答312条； 模型间排名基于均衡的英文单元（每模型n=60）。 未校正时Gemini英文组总分最高（4.04，对比GPT-4o 3.86、Claude 3.85）；
但回答长度与得分强相关（总分r=0.75，全面性r=0.84），Gemini英文平均547词，约为Claude（265词）和GPT-4o（288词）的两倍。 长度校正后Gemini在共情、全面性、个性化上的优势消失（p均>0.10），总分系数转为负值（β=−0.065，p=0.017），患者中心性得分更低（β=−0.153，p=0.021）。
英文在所有维度显著高于土耳其文（3.92 vs 3.51，d=2.71），患者中心性整体最弱（3.27）。 信度采用ICC(2,3)与Krippendorff's α评估。 作者机构为土耳其伊斯坦布尔健康与技术大学（Istanbul Health and Technology University）牙科学院正畸系。
该研究把评测本身的方法学风险摆到台面：基于量表的LLM（大语言模型）输出打分与回答长度强相关，未校正长度的模型横评可能主要反映长度差异而非架构差异。 对治理与评测实践的直接启示是，模型评测报告若不同时披露长度分布和长度校正结果，其排名结论的可复现性和可比性存疑。
英土语差距与Gemini土耳其文截断在长度校正后依然稳健，说明多语言一致性问题不能靠单一英语基准替代。 需注意本条证据仅为期刊摘要，未呈现完整统计细节与模型版本自述，安全性维度仅由医生主观评分，不能等同于临床安全验证。
后续观察信号
- 检索该论文全文以核对混合效应模型、ANCOVA与信度统计的具体结果
- 跟踪是否有研究复现长度校正后模型排名反转的结论
- 关注非英语语言的LLM（大语言模型）患者问答截断率与可用性数据