医学罕见病例：训练大语言模型选择下一步行动，而非仅给出最终诊断

Ofir Ben Shoham、Oriel Perets、Nir Grinberg 和 Nadav Rappoport（本-古里安大学，Ben-Gurion University of the Negev）从一个简单事实出发：多数评测语言模型医学能力的基准只给最终诊断打分，而真实医疗其实是一连串中间决策——下一步该开哪项检查、做哪种影像、请哪位专科。他们构建了 MedUPSQA，即从 5535 例真实罕见临床病例中提取的 21 874 个决策点，随后训练模型在信息逐步到达时预测下一步行动；这一重新定位把最佳模型的准确率从 55.2% 提升到 66.7%，而更有说服力的结果是：一个经过对齐的小模型超过了更大的前沿模型。真正的启示不是分数，而是：学会"在过程中"推理，比模型规模更重要——前提是要仔细看清谁在决定正确答案。

背景

近三年来，大语言模型（large language models，简称 LLM，即根据提示生成文本的系统）在医学中的评测方式，主要是成套的多项选择题：USMLE、专科考试题、标准化临床小案例。这些测试有一个结构性缺陷：它们一次性呈现整个病例，只对一件事打分——最终诊断。可临床医生几乎从不"一次性"面对一位患者。他先收到一个主诉，问一个问题，得到一个结果，做出一个决定，然后再来一轮。医学的绝大部分就存在于这条中间行动链中——下一项化验、下一次影像、合适的专科——远在最终诊断确立之前。

在罕见及"指南之外"的病例上，这个问题更为突出：不典型表现、少见疾病、对治疗的意外反应。恰恰在这里，临床指南不再适用，逐步推理变得关键。同一团队此前已用 CUPCase（AAAI 2025）探索过这一领域，那是一个取自文献的罕见临床病例数据集，用于在考试题之外测试 LLM。MedUPS 延续这条思路，但转移了目标：不再问"诊断是什么？"，而是问"以此刻已有的信息，现在该做什么？"。

方法

作者从 5535 份真实临床病例报告出发，把它们切分成按时间顺序、逐步累积的"片段"：第一段只含开头信息（主诉、既往史），此后每一段增加一条信息（一项检查、一个结果、一次病情变化）。在每两段之间的边界，他们定义一个决策点：在已有全部信息的前提下，下一步的合理行动是什么？这种切分产生了 MedUPSQA，即 21 874 个"过程中"（mid-stream）决策点。因此目标不是单一诊断标签，而是该阶段应采取的行动——该开的检查、该做的影像、该请的专科、该追查的鉴别方向。

为使模型对齐这一任务，团队使用强化学习，具体为 GRPO（Group Relative Policy Optimization，群体相对策略优化）：不强加一个参考答案，而是让模型对同一情境产生多个候选回答，加以排序，并把模型推向排名更高的那些。排序来自一位"裁判"——另一个语言模型（LLM-as-a-Judge），它把模型给出的回答与病例中实际发生的情况相比较，给出奖励。与此同时，作者还训练了经典的监督微调（supervised fine-tuning，SFT）版本，直接学习复现已记录的下一步行动，以验证收益并非仅来自强化学习机制。测试了三个基座模型（backbone）：Qwen3.6-27B、Qwen3.5-9B 和 HuatuoGPT-3-8B（一个医学专用模型）。主要指标是下一步准确率（next-step accuracy），即所提行动被判为正确的决策点比例，并给出 95% 置信区间。

结果

过程中对齐使三个模型都明显提升。下一步准确率从 55.2% 升至 66.7%（Qwen3.6-27B）、从 47.2% 升至 57.8%（Qwen3.5-9B）、从 37.8% 升至 44.4%（HuatuoGPT-3-8B）。前两者提升约十个百分点，最小的医学模型提升较为有限。SFT 版本同样高于基座，作者据此认为，信号来自任务本身——学习下一步决策——而不仅来自强化学习优化器。

最有意思的结果不是绝对分数，而是一个对比：在若干模型规模上，对齐目标带来的准确率提升超过了扩大规模。换言之，一个更小但经过对齐的模型，胜过按原样评测的更大前沿模型。对于一个被"拼规模"主导的领域，这是一个有用的信号：训练方式可能比参数量更重要。

但换成临床视角，需要保持冷静。即便是最佳对齐模型，仍约有三分之一出错：100 个中间决策中，约有 33 个判断失误。而这些错误发生在罕见病例上，恰恰是"下一步行动"错误——无用的检查、拖延的影像、错误的转诊——在诊断时间上代价最高的场景。因此 66.7% 的准确率不是绿灯，而是在一个仍大体开放的问题上取得的可测量进展。

做得好的地方

对任务的恰当重新定位，并在大规模上落地。从最终诊断转向下一步行动，更贴合医疗现实——信息本就是零碎到达的。作者不止于宣称：他们把 5535 例病例转化为 21 874 个按时间排列的决策点，从而得到一个可观的数据集，用来训练和衡量这种序列推理，而经典基准只对终点打分。

对齐胜过规模——消融实验加以佐证。证明一个经过对齐的小模型超过更大的前沿模型，是一个具体且具有经济意义的结果。尤其是加入 SFT 变体属于良好的实验规范：既然监督学习同样能提升三个模型，那么收益就不是强化学习的假象，而来自训练目标本身。这类对照能把一次真正的论证与"橱窗效应"区分开来。

开放且可复现的发布。数据集、代码和对齐后的模型（checkpoints）以 CC BY 4.0——最宽松的许可——发布。在许多"临床模型"仍然闭源或采用非商业许可的领域，这种开放使复现、批评与再利用成为可能，也以透明的方式延续了他们此前的工作（CUPCase）。

做得不够的地方

既打分又给奖励的裁判：误导性指标的陷阱在逼近。同一类工具——LLM-as-a-Judge——既在训练时充当奖励信号，实际上又充当了"正确答案"的定义。两种经典风险由此叠加。其一是奖励作弊（reward hacking）：被训练去讨好自动裁判的模型，可能学会生成让裁判满意、但临床上并不更优的回答。其二是循环论证：由语言模型定义的"准确率"，并不是由临床医生验证的准确率。只要下一步行动尚未经过独立医生裁定，66.7% 这个数字衡量的主要是与算法裁判的一致程度。

脆弱的金标准，以及数据泄漏的风险。"正确"的下一步行动，是病例报告中实际记录的那一个。但一份已发表的病例只讲述唯一一条路径，且往往是回溯性地、因为它通向了正确诊断才被选中；于是其他合理的行动会被判为错误。此外还叠加了一种在此少有讨论的健康 AI 失败模式：数据泄漏（data leakage）。文献中的病例报告很可能已存在于基座模型（Qwen、HuatuoGPT）的训练数据中；若无明确的去污染程序，一部分性能可能反映的是记忆而非推理。

经过精选的语料、没有真实临床噪声、且零前瞻性验证。已发表的罕见病例经过高度筛选：发表偏倚（被发表的往往是有教学意义的、已解决的、罕见而精彩的），英语占主导，缺乏真实病历的混乱（缺失、矛盾、录入错误的信息）。模型还可能学到病例报告的写作风格——作者如何暗示接下来会发生什么——而非临床本身（捷径学习，shortcut learning）。最后，一切都发生在回溯性文本上：没有前瞻性评估、没有临床医生在环、没有真实部署。真实条件下的表现仍属未知。

它改变了什么

对研究界而言，方法学信息很清楚：要给过程打分，而不只是给终点打分。MedUPSQA 提供了一个可复用的模板来评估序列推理，SFT 消融也表明收益来自任务本身。显而易见的下一步是：由独立临床医生裁定（而非模型裁判）、针对预训练数据进行明确的去污染，以及从文献病例转向真实病历。

对临床医生而言，今天的实践不会有任何改变：这是一项基于病例报告的基准与对齐研究，而非已部署的工具。但它勾勒出一个方向——给出"下一步行动"而非诊断的助手——以及一条警示：一个自信地推荐下一项检查的模型，在罕见病例上可能三次里错一次，而那恰恰是人们最想信任它的时候。

对患者和公众而言，结论是冷静的。在精心撰写的罕见病例上答得好，与在真实就医过程中帮助一位真实患者，并不是一回事。"下一步决策"这一框架之所以有前景，是因为它贴合医学的实际操作方式，但它离病床仍然很远。而一旦此类系统真的开始引导诊疗决策，它们就应作为医疗器械软件（software as a medical device）接受监管——而不是被当作一个普通的对话助手。

延伸阅读

预印本见 arXiv（DOI 10.48550/arXiv.2608.01012），采用 CC BY 4.0 许可；作者宣布公开 MedUPSQA 数据集、代码及对齐后的模型。作为背景，可参阅他们此前的工作 CUPCase（Clinically Uncommon Patient Cases and Diagnoses，AAAI 2025），关于从罕见临床病例出发评测 LLM，以及有关 GRPO 和 LLM-as-a-Judge 评测局限性的文献。