英国数字健康公司Numan用模拟对话评测AI（人工智能）健康教练Nu，守住非诊断边界

Numan是英国数字健康公司，服务体重、激素和性健康等长期疾病管理。 其名为Nu的AI（人工智能）健康教练是一个LangGraph图：由主管模型把对话分派给各领域专科子智能体。 团队最初用固定输入与预期输出、单一LLM（大语言模型）评委打分； 该方式在两方面失效：单轮固定样本无法判断依赖上下文的回答是否安全，且把各类别平均成一个分数会掩盖局部失败；

预写患者后续回复的脚本式多轮测试，则在Nu说出脚本未预料内容后失效。 目前做法包括：按类别（教练质量、安全、用药问题、路由、摘要）分别由LLM评委打分； 评测直接跑在生产同一张LangGraph图上，即团队所称“我们发布的就是我们测试的”； Nu由两个前沿模型供应商分别承担主管与专科角色，切换供应商因评测集可移植从数周缩短至一天。

据英国药品和健康产品管理局（MHRA）的指导，具有医疗用途（临床建议、诊断或推荐治疗）的软件产品属于医疗器械； Nu被设计为健康生活方式产品。 安全探针按类别统计并作为发布门槛，出现回归即阻止自动发布； 图内安全守卫在患者看到回复前逐条检查，不合格则回退给主管重新生成，持续失败则替换为安全备选回复。

最新一层为模拟对话：给评测一个患者人设、场景、应引出的关键问题和轮次上限，由较便宜的模型扮演患者与真实智能体多轮互动，再由评委按类别给整段对话打分。 该层仍处原型，其评分标准由工程团队起草，需临床医生签署后方才用于阻断发布或支撑安全声明。 文中还提到，用于加固提示词的模拟对话降低了越狱场景中对监管边界的严重越界，但未披露具体数值。