MedQADE：给医学答案打分的大模型在一致性上追平医生，却始终缺少医生的审慎
来自吕贝克、图宾根、维尔茨堡三所大学和柏林夏里特医院的团队构建了 MedQADE，这是首个德语开放式回答的临床评测基准：3800 道取自国家医学考试的题目，每一题都由医生和九个充当"批改者"的语言模型分别打分。表现最好的自动批改者 Gemini 3 Flash 与医学共识的一致性（kappa 为 0.694）在统计上与医生彼此之间的一致性（0.709）无法区分。但当一道题超出医生的能力时，医生会弃权；前沿模型却在 100% 的情况下给出确定判断——只有表面的一致，却没有本应随之而来的临床审慎。
背景
我们怎么知道一个语言模型擅长医学？自 GPT-4 以来，标准答案依赖仿照医学院考试（美国的 USMLE、MedQA）的多项选择题。问题有二。其一，最好的模型已在这些测试上"封顶"，分数几乎不再有区分度。其二，从五个选项里选对，与真实临床几乎无关——临床要求从零开始给出答案。当把同样的问题改写成开放式回答（AI 必须自己写，而非选择）时，模型表现会下降，作者引用的一项近期研究显示降幅约为 39%。
因此开放式回答更贴近真实，却带来一个瓶颈：需要有能力的人来评判每一条答案。于是在 2025–2026 年出现了一种常见做法，即 LLM-as-a-Judge（用大模型当评委）：把批改交给另一个语言模型，期望它能以低成本、大规模地模仿专家判断。本文提出的问题不是"模型答得好不好？"，而是"给答案打分的模型，是不是可靠的评委？"。此外还有一个地域盲点：德语是数千万患者的语言，却一直没有原生的开放式临床评测基准。MedQADE 想一举填补这两处空白。
方法
该基准来自 Ankizin，一套经过同行评审、被德国学生大量用于备考第二次国家医学考试的记忆卡片（flashcards）。作者从第 5 版的 44185 张卡片中，只保留单一填空的题目（遮盖一处信息、需要补出），得到 26598 条，再分层抽取 3800 条（80% 与参考答案没有精确词面匹配，20% 有）。每一题都是开放式问题，例如"三分之二的吉兰-巴雷综合征由什么诱发？"，预期答案很短。
五个"学生"模型对所有题目作答：Gemini 2.5 Flash、GPT-5 Nano、Gemma 3 27B、Gemma 3 4B 和 Qwen3-4B。这些答案随后由两组平行评判者打分。首先是九名在德国医院执业的医生组成的小组（平均 9.6 年临床经验，5 到 23 年不等），通过专门界面标注。对每条学生答案，医生在三个标签中选择：正确、错误或弃权——若认为自己没有足够专业能力判断，需明确勾选弃权。他们还要为题目的感知难度评分。第十名医生在出现平局时充当仲裁。随后，九个语言模型充当自动批改者：五个学生模型，外加四个额外模型（Gemini 3 Flash、Gemini 2.5 Flash-Lite、GPT-5.4 Nano、GPT-5.4 Mini），以便同时衡量自我抬高的偏差。
方法学的核心在于如何把批改者与共识作比较。直接把一个评委与全体医生比较，会机械地抬高其分数。因此作者用"留一法"构建了一个人类上限：对每名医生，取其余八人的共识，再用Cohen kappa（一种对随机因素做过校正的一致性度量：1 为完全一致，0 为随机水平）衡量被留出医生与该共识的一致性。这样得到一个普通人相对同行所能达到的标准线，并用 bootstrap 重采样估计置信区间。只有当一个自动批改者的区间与人类上限的区间重叠时，才被认定为"临床医生水平"。
结果
医生之间的平均一致性为 kappa 0.61——按惯例属于"较强"。用留一法算出的人类上限为 kappa 0.709（95% 置信区间：0.667 至 0.746）。最佳自动批改者 Gemini 3 Flash 达到 0.694（0.619 至 0.754），仅比上限低 0.016，且区间大幅重叠：在统计上无法与一名普通人类医生区分。另外两个模型（GPT-5.4 Mini 为 0.616，Gemini 2.5 Flash-Lite 为 0.602）仍与上限重叠；其余全部低于上限，最低的 Gemma 3 4B 为 0.327。把多个批改者组合成"多数投票"并无改善：单独的 Gemini 3 Flash 仍是最优。
然而最说明问题的并非这种一致性，而是伴随它的东西——或者说缺失的东西。医生会随难度调整弃权：题目越难，勾选"我无法判断"的次数越多。前沿模型则相反，无论难度如何，都在 100% 的情况下给出确定标签（正确或错误）。只有小型开源模型偶尔弃权（Gemma 3 4B：6.41%，Qwen3-4B：4.23%），且仍比人类低一个数量级。作者把这种缺失称为临床元认知的缺位：即认识到自身知识边界的能力。
此外还有实测的偏差。相对同行共识，Gemma 3 4B 给自己答案的评分高出 16.29 个百分点；在同一架构家族内，GPT-5.4 Mini 给 GPT-5 Nano 多加 6.63 分，Gemma 3 4B 偏袒其 27B 的"哥哥"11.54 分。至于学生的原始表现，在设定为 60% 的及格线下，只有两个商用模型（Gemini 2.5 Flash 和 GPT-5 Nano）能及格；小模型在无词面匹配的题目上骤降至 16–17% 的正确率。具体而言：本文测试的不是诊断工具，而是评分的可靠性。如果用一个 AI 去宣布另一个医学 AI"正确"——某些验证材料已经这么做——那么它的过度自信就成了安全问题，而非趣闻。
做得好的地方
用严谨填补了真实空白。MedQADE 是首个德语开放式回答的临床评测基准，建立在同行评审的语料之上，而非临时生成的题目。尤其是留一法人类上限，避免了把自动评委与全体专家比较的经典错误（那样会机械地抬高它）。bootstrap 置信区间，以及剔除没有明确多数的样本（占数据的 2%），都体现出高于该领域平均水平的方法学谨慎。
一个具体而有用的发现。量化批改者缺乏审慎——100% 的确定判断，对照随难度上升的人类弃权——把一个模糊直觉（"AI 太自信"）变成可用的数字。这正是在讨论自动评估可靠性时所欠缺的度量。
对自身盲点的透明。作者报告了自我抬高与同族偏差，承认置信区间偏宽、可能存在数据污染以及小组规模有限。数据集与代码宣布将在发表时公开，研究由公共资金资助（德国联邦研究部，SEPE 项目），并声明无利益冲突。
做得欠佳的地方
可能的数据污染，虽承认却未加控制。Ankizin 是公开且广为流传的；前沿模型很可能在训练中见过它。这种数据泄漏——测试材料直接或间接被用于训练——会同时抬高学生的表现和评委的一致性，无法与真实能力区分开。作者虽承认此点，却未提供任何重叠分析。
标题强于数字。"临床医生水平"依赖于 200 条题目的子集，以及作者自己称"需谨慎解读"的宽置信区间（约 0.13 kappa 的跨度）。比上限低 0.016 处于统计噪声之内，而人类上限本身也仅为 0.709——是较强一致，而非绝对一致。这是典型的误导性指标：区间重叠并不等于已证明的相等。更糟的是，医生对题目难度的一致性很弱（序数 alpha 为 0.199），这削弱了那项关于弃权的核心发现所依赖的难度分层。
比较对象不完整，且出处有待核实。受测的批改者是"lite"变体或小型开源模型，并非最强配置；人类小组很小（九名医生加一名仲裁），且判断以一条"仅供参照"的参考答案为框架。此外，该预印本注明日期为 2026 年 7 月 1 日，并引用了名称不寻常的模型（GPT-5.4、Gemini 3 Flash）：只要所宣布的数据与代码尚未真正公开，其出处与可复现性就有待确认。
它改变了什么
对研究界而言，MedQADE 有益地转移了注意力：不再只评估模型，而是评估评估者。用弃权作为审慎度量的思路，以及留一法人类上限的方法，都可迁移到其他语言与专科。这项工作也为一门此前没有原生开放式临床基准的语言提供了一块基础设施。
对临床医生而言，床边不会有任何改变。实用信息是防御性的：对那些仅凭自动批改就把某个医学 AI 认证为"正确"的验证材料保持警惕。一个从不弃权的批改者，可以在平均一致性上追平医生，却在困难病例上掩盖自己的无能——而那恰恰是错误代价最高之处。
对患者和公众而言，"AI 达到医生水平"这类噱头正是应当警惕的。这里其实是对考试卡片的评分任务，处于回顾性条件之下，真正的发现不是机器的能力，而是它没有谦逊的自信。一致性分数与可信赖的临床判断之间的差距——医疗 AI 的核心议题——依然悬而未决。
延伸阅读
预印本见 arXiv（10.48550/arXiv.2607.01103）。研究由德国联邦研究部资助（BMFTR，SEPE 项目，资助编号 16SV8958）；作者声明无利益冲突，其中一位合著者隶属一家私营公司（Genie Enterprise Deutschland GmbH）。数据集与代码宣布将在发表时公开。关于大模型在临床中的其他用途及其局限，参见我们对用大模型模拟标准化病人、前沿大模型的临床安全性以及大模型在公共卫生中的忠实度的解读。
编辑透明度说明：法文版由 Tatakoto 编辑部在阅读预印本后撰写并署名。英文、西班牙文和中文译文在 AI 协助下完成并经审校。