重症监护脓毒症：一个在乳酸升高时反而下调治疗的强化学习智能体，却被标准指标评为最优

两位工程师，一位在范德堡大学、一位在杜克大学，选取了两个在 MIMIC-III 数据库脓毒症患者上训练、用于给出补液与升压药剂量的强化学习智能体，并对它们做了一项文献中几乎从不进行的测试：人为改变患者的乳酸水平，观察推荐治疗往哪个方向变化。模仿临床医生最好的那个模型——均方误差 0.0098，比对手低约七倍——在乳酸升高时推荐把治疗强度下调约 15%，与拯救脓毒症运动（Surviving Sepsis Campaign）的规定完全相反；另一个模仿得更差的模型，在全部十五个测试水平上都朝正确方向反应。作者提出的判断是成立且重要的——模仿类指标并不衡量临床安全性——但整个论证依赖单一随机种子，完全没有置信区间，而这份六页的预印本从未说明它用了多少患者。

关于背景

从重症监护病历中学习脓毒症治疗策略，有一个明确的起点：Komorowski 等人 2018 年发表于《Nature Medicine》的 AI Clinician。其原理属于离线强化学习（offline reinforcement learning）：不在患者身上做实验，而是在已经记录下来的轨迹上训练智能体，让它学会在每个时间步选择那个能最大化奖励（该奖励被假定反映生存）的动作——这里是一个补液剂量和一个升压药剂量。结构性问题一目了然：学到的策略永远无法在手头这些患者身上检验。人们只有临床医生实际做出的决策，而必须去估计另一种决策会带来什么。

由此产生了常规的评估工具，以及它的盲区。两个指标占主导。MSE（均方误差）衡量智能体预测的动作与临床医生实际动作之间的差距：这是模仿程度的度量，而非质量的度量。FQE（Fitted Q-Evaluation，拟合 Q 评估）通过在观测数据上拟合价值函数来估计所学策略的期望价值：这是一种统计外推，一旦被评估的策略偏离了生成数据的策略，其可靠性就会崩塌。Gottesman 等人 2019 年在《Nature Medicine》上说得很直白：这类观察性评估在很大程度上无法分辨智能体学到的是因果逻辑还是相关性。

本文为这一问题增加了一个特别令人不安的变体，作者称之为「toxic mimicry」（毒性模仿）。重症监护病历中包含治疗撤离的片段：当患者转入舒适护理时，升压药被停用，患者随后死亡。从统计上看，这些轨迹把生理指标的恶化与治疗的减量联系在了一起。因此，一个被训练去模仿临床医生的智能体完全可能学到「患者恶化时就减量」这条规则——它在描述层面是准确的，一旦用在一个人们正试图救治的患者身上则是灾难性的。作者引用重症监护终末期文献说明这类做法既普遍又高度不一致：Mark 等人（2015）报告的治疗撤离比例，视具体情境从 0% 到 84% 不等。从概念上说，这一现象是 de Haan、Jayaraman 与 Levine 2019 年所描述的因果混淆（causal confusion）的一个实例：模型学会了复制自己过去的动作，而不是对患者状态进行推理。

关于方法

队列。作者从 MIMIC-III v1.4 中提取符合 Sepsis-3 标准的成年患者，并明确沿用 Komorowski 的数据处理流程。状态空间包含 44 个变量（生命体征、实验室结果、人口学信息），动作空间是二维连续的——静脉补液剂量与升压药剂量——这一点与原始 AI Clinician 的 25 个离散分箱不同。滑动窗口为 6 个时间步、每步 4 小时，即 24 小时上下文，按患者层面以 70/15/15% 划分。有一点必须立刻指出，因为它决定了对其余全部内容的理解：患者数、住院数与状态转移数在文中任何地方都没有给出，队列的病死率与人口学特征同样缺失。文中没有基线特征表。

两个智能体。第一个是 MedDT（Medical Decision Transformer），改编自 Chen 等人（2021）的 Decision Transformer：一个因果 Transformer，输入是剩余回报、状态以及过去动作的序列，输出下一个动作。它以纯模仿方式训练——对临床医生动作的 MSE，不含价值函数。第二个是 HCT-RL（Historical Causal Transformer），由三部分组成。第一部分名为 Causal Action Shielding（因果动作屏蔽），其实质恰恰是把过去动作从编码器输入中去掉——名称听上去像一个运行时安全装置，机制上则是一次架构消融。第二部分是基于倾向性得分的加权，降低数据中高频动作的权重。第三部分是 Kumar 等人的 Conservative Q-Learning，惩罚数据中未出现的动作。两个模型规模相同（维度 128、三层、四个注意力头），并在五个随机种子上训练。

审计。这是本文的贡献所在。反事实临床审计（Counterfactual Clinical Audit，CCA）衡量的不是性能，而是响应：人为改动输入状态中的某个生理变量，观察策略如何移动。共三项测试。审计 I：仅对肌酐注入高斯噪声（标准差 0.5，z 分数单位）——肌酐在血流动力学上并非关键变量——测量推荐动作偏移了多少；按构造，任何响应都是伪响应。审计 II：在全部六个时间步上固定乳酸水平，在 −2 到 +5 个 z 分数之间扫过十五个取值，测量每一水平上的平均治疗强度；汇总统计量为 Spearman 秩相关，若响应符合指南则为正，若方向颠倒则为负。审计 III，称为「剪刀」探针：让平均动脉压从 +1 降到 −2 个 z 分数，先单独变化，再与心率和乳酸的升高同时变化，检验智能体在第二种情形下是否反应更强——面对合并高乳酸血症的低血压，临床医生会更快升级治疗。

关于结果

在标准指标上，MedDT 胜出。其 MSE 为 0.0098，HCT-RL 为 0.0742，模仿保真度约高七倍。其 FQE 估计价值为 65.29，HCT-RL 为 63.43。这些数字伴随两项重要保留：奖励函数在文中从未被定义，这使 FQE 的量纲字面上无法解释；同时也没有报告临床医生自身策略的价值。因此并不存在参照比较对象。

在审计上，排名反转。在审计 II 中，HCT-RL 的治疗强度随乳酸单调上升——十五个水平上的 Spearman 相关系数为 +1.00，相对基线上升约 10%。MedDT 则相反：在中高乳酸水平上其强度较基线下降约 15%，在极端值处出现部分回升，ρ 为 −0.67。这是本文的核心结果。在审计 I 中，MIMIC-III 上对肌酐噪声的敏感度，MedDT 为 0.060 ± 0.006，HCT-RL 为 0.032 ± 0.008。在 MIMIC-III 的审计 III 中，HCT-RL 呈现正的剪刀发散，MedDT 则基本持平。

外部验证在 MIMIC-IV v3.1 上进行，未做重新训练。在审计 III 中，HCT-RL 保持 0.04 至 0.12 的正发散，而 MedDT 转为负值，介于 −0.12 与 0 之间：在多器官应激下，它推荐的升压药剂量低于仅有血压下降时的推荐剂量。而最重要的审计 II，并未在 MIMIC-IV 上重做。

临床换算：它缺席了，这一点必须说明。所有数值都以 z 分数和归一化动作向量的范数表示。文中从未给出其乳酸扫描区间与 mmol/L 的对应关系，也未给出其「治疗强度」与 µg/kg/min 的对应关系。因此无法写出「每升高 1 mmol/L 乳酸，剂量下降 X µg/kg/min」——这个数字在本研究中并不存在。真正存在、并且足以支撑论点的，是一个符号：在一种复苏要求随乳酸升高而升级治疗的疾病上，模仿指标最好的模型却在降级。

做得好的地方

这项测试简单、可复现，而且切中要害。改变一个变量并观察策略的导数，几乎不耗费算力，不需要额外数据，而且恰好考察了 MSE 与 FQE 看不见的东西。审计 I 选择肌酐作为对照变量是巧妙的：这是一个建立在生理学理由而非直觉之上的阴性对照。审计 III 则是三者中唯一考察「整合能力」的测试——对有情境的低血压比对孤立的低血压反应更强——而非单纯的单调性。

论证没有止步于单一数据库。审计 I 与 III 在 MIMIC-IV 上未重新训练即重跑，且审计 I 以五个种子的均值 ± 标准差报告。作者引用了 Nauka 等人（《npj Digital Medicine》，2025）关于脓毒症强化学习策略可迁移性失败的工作，说明他们了解而非回避这一问题。

局限性一节坦率得不寻常。作者写道，CCA「审计的是行为安全性，但无法直接证明结局的改善」，并将其定位为「必要的安全筛查，而非充分标准」。他们明确承认两个 MIMIC 数据库都来自波士顿的同一家学术医疗中心，承认其加权的截断上下界未经检验，并且——这一点很少见——承认「审计 II 与审计 III 各指标的跨种子变异性有待进一步研究」。换言之，他们自己说明了核心结果并未量化不确定性。

做得不够好的地方

核心结果来自单一种子，而正文叙述与表格不一致。作者写明，审计 II 与 III 报告的是「验证集 MSE 最低的那个种子」。因此，−0.67 的 ρ 与 15% 的幅度既没有置信区间，也没有 p 值，更没有跨种子标准差——而测量点只有十五个。这种脆弱性在别处一眼可见：外部验证的审计 I 中，正文宣称 MedDT 敏感度为 0.10、HCT-RL 为 0.01，即「好十倍」，而同一篇论文的多种子表格给出的是 0.062 ± 0.028 对 0.003 ± 0.003。那个十倍来自被挑选的种子；那里 HCT-RL 的标准差等于其均值。这是一个清晰的误导性指标案例——而这篇论文的主题恰恰是指标的误导性。

姑息治疗混杂因素从未在数据中被证实。整个论点建立在「终末期撤离治疗的片段污染了学习」这一想法之上。然而，文中并未从 MIMIC-III 中提取任何治疗限制、预立医疗指示或转入舒适护理的标签来加以验证。该机制由文献论证、由模型行为推断而来，从未被测量。此外还缺少消融实验：HCT-RL 的三个组件——去除过去动作、倾向性加权、CQL——从未被分别检验，因此论文无法说明究竟是哪一个纠正了模仿，尽管它断言功劳属于「因果屏蔽」与加权。从技术上看，唯一在结构上真正不同的机制是把过去动作从输入中去掉——也就是说，这恰恰是 2019 年以来针对因果混淆的已知解法。

证据基础单薄，人群范围狭窄。没有队列例数，没有写出的奖励函数，没有临床医生对照，没有公开代码，也没有任何经费、利益冲突或伦理批准声明。两个 MIMIC 数据库来自波士顿同一家医院，这使得 MIMIC-IV 上的「外部验证」更像是时间漂移测试，而非人群偏倚测试：本文完全没有说明这些模型在另一个卫生系统中会如何表现。最后，审计 II——唯一产出显著结果的那一项——假定乳酸可以独立于其余 43 个变量而变化。作者对此有所承认。这是一个很强的假设：血压与心率均不变、乳酸却处在 +5 个 z 分数的患者，现实中并不存在。

这带来什么改变

对研究界而言，净贡献不是结果而是协议。「一个学到的策略必须接受一项锚定于临床指南的导数测试——当这个变量上升时，这项治疗必须上升」——这个想法成本低、通用性强，理应与 FQE 一样成为医疗强化学习论文的标配。它把 Gottesman 2019 年停留在原则层面的告诫落到了操作层面。标准指标评分最高的模型恰恰是审计失败的那一个，这件事本身就足以构成改变发表惯例的理由。不过需要指出：关于 AI Clinician 最广为人知的两篇技术批评——Jeter 等人以及 Oberst 与 Sontag 的工作——并未被引用。

对临床医生而言，实践中什么也没有改变，这一点应当讲清楚：目前没有任何强化学习智能体被用于在重症监护中主导补液或升压药，本文也没有让这一前景更近——相反，它记录了又一种失效模式，使之更远。可迁移的教益是方法学上的：面对一个治疗决策支持工具，该问的不是「它的性能如何？」，而是「当患者恶化时它会怎么做？」。这是一个临床医生无需具备工程背景也能向供应商提出的问题。

对患者与公众而言，最重要的一点反直觉，值得记住。一个模型可以忠实复现医生的做法，并恰恰因此而危险，因为病历同样记录了终末期撤离治疗的决定。作者在讨论中更进一步指出，这类决定随族裔与社会经济地位而异，因此这种偏倚可能在不同人群之间分布不均。他们把这写成一个假设；本文并未开展任何亚组分析来支撑它。

延伸阅读

预印本见 arXiv (2608.11410)，2026 年 8 月 11 日以 arXiv 非独占许可发布，作者为 Hangqi Ren（范德堡大学工程学院）与 Junyi Liao（杜克大学 Pratt 工程学院）。未发布代码。数据为 MIMIC-III v1.4 与 MIMIC-IV v3.1，在 PhysioNet 上完成培训并签署数据使用协议后可获取。关于该领域的起点，可阅读 Komorowski 等人的 AI Clinician（《Nature Medicine》，2018）；关于构成本文骨架的方法学告诫，可参见 Gottesman 等人的《Guidelines for reinforcement learning in healthcare》（《Nature Medicine》，2019）；关于其底层概念，可参见 de Haan、Jayaraman 与 Levine 的《Causal confusion in imitation learning》（NeurIPS 2019）。