儿科急诊:Dr CaBot 智能体在 100 名住院儿童中与四名急诊医生打成平手,但评价指标已接近天花板

波士顿儿童医院(Boston Children's Hospital)和哈佛大学的团队,把 100 名经急诊就诊后住院的儿童的病历,分步骤逐层揭示给一个基于大语言模型的智能体 Dr CaBot 和四名儿科急诊医生。在医生首次评估这一环节,智能体和医生给出的鉴别诊断列表中,都有 95% 的病例包含正确诊断或非常接近的诊断,而排在第一位的诊断大约十例中有六例是对的。这一结果有分量,因为它基于真实病历;但评价指标已接近天花板,病历由专科医生撰写,且患儿均已住院:我们还不知道该智能体能否在真正发生误诊的场景中提供帮助。

背景

在急诊科,被误诊或延迟诊断的儿童可能病情加重后再次就诊,或出现本可避免的并发症;在没有儿科急诊医生的地方——也就是大多数综合急诊科——这一问题尤为突出。因此,人们关注大语言模型(LLM,即在海量文本上训练、能够生成书面推理的神经网络)能否辅助鉴别诊断,即按可能性排序、与所见表现相符的疾病列表。

以往的大多数评估依赖已发表的病例小品(vignette),这些病例常常已经出现在模型的训练数据中。真实急诊病历此前曾在成人中测试过,但尚未在儿童中测试;而儿童的临床表现高度依赖年龄和家长的描述。

本研究测试的工具 Dr CaBot 是一个智能体(agent,即能自行串联多个步骤的 LLM,这里是先检索文献再进行推理),由同一哈佛团队的部分成员于 2025 年提出,设计目标是以临床病理讨论会(clinicopathological conference)的方式进行推理。

方法

这是一项回顾性单中心研究:纳入 2024 年 7 月 1 日至 2025 年 6 月 30 日期间波士顿儿童医院的急诊就诊,且在 24 小时内转为住院或接受手术的病例。由任一作者主管的患儿被排除。研究者在四个年龄段(不满 1 岁、1–4 岁、5–11 岁、12–17 岁)中各随机抽取 25 次就诊,共 100 名儿童:年龄中位数 4 岁,女孩占 45%,41% 患有复杂慢性病,其中 10 人由其他医院转入。

信息从电子病历中提取,分四个阶段揭示:(1)分诊,包括护士分诊记录和生命体征;(2)医生首次评估,包括现病史、既往史和体格检查,预先设定为主要终点;(3)急诊停留期间,包括医生的临床推理、化验、影像和治疗;(4)住院或手术团队撰写的入院记录。在每个阶段,每位"诊断者"最多给出五个排序的诊断。

Dr CaBot 基于 OpenAI 的 GPT-5.4(推理强度设为"高"),通过符合美国健康数据法规(HIPAA)的 Azure 接口调用,提示词(prompt,即初始指令)设定其为该院儿科急诊医生。两种配置独立运行:一种可检索 160 万篇临床论文摘要,每例最多 25 次检索;另一种不能访问文献。人类一方,四名儿科急诊主治医生按相同顺序阅读相同资料,没有时间限制,也看不到智能体的输出。

参考标准("真实"诊断)由另外两名儿科急诊医生根据完整病历(包括出院小结)确定。随后他们用 Bond 评分为每个列表打分,分值 0–5:列表中有确切诊断得 5 分,有非常接近的诊断得 4 分,有密切相关且可能有帮助的诊断得 3 分,有相关但帮助不大的诊断得 2 分,没有任何接近的诊断得 0 分。4 分及以上记为"高分列表"。为了隐藏列表来源,所有列表都由 GPT-5.4 改写为完整术语,并以随机顺序呈现。

对每个病例,作者比较四名医生评分的中位数与智能体两种配置评分的中位数,采用 McNemar 检验(适用于配对比较)。样本量计算基于一项此前的成人研究,目标是检测 10 个百分点的差异,至少需要 77 次就诊。

结果

在主要终点——医生首次评估阶段——医生和 Dr CaBot 各自在 100 例中的 95 例给出了高分列表(Bond 评分至少 4 分)。差异为零,95% 置信区间为 −5.8 至 +5.8 个百分点。其他阶段的数字也非常接近:分诊时 91 比 91,急诊停留后 96 比 98,入院时 98 比 99(前者为医生,后者为智能体),均无显著差异。

更严格的标准是:排在第一位的诊断是否正确?在四个阶段中,医生分别在 100 例中的 53、61、68 和 73 例中做到,智能体分别为 50、62、74 和 76 例,同样无显著差异。让智能体检索 160 万篇摘要,并未带来可检测到的性能提升。

两名评估者之间的一致性并不完美(加权 kappa 为 0.64;这是一种校正了偶然一致的指标,1 表示完全一致)。此外,在 34 个病例中,评估者猜出列表来源的准确率为 91.6%:智能体的列表更长,也更冷僻。

临床换算(直接依据研究本身的数据):在 100 名经急诊后住院的儿童中,在医生刚完成体格检查的时刻,约有 5 名儿童的列表中既没有正确诊断,也没有非常接近的诊断,无论列表来自智能体还是医生;另有 38 至 39 名儿童,排在第一位的诊断是错误的。研究没有说明两方出错的是否是同一批儿童,也没有说明两者结合是否会更好。

做得好的地方

第一,真实数据,按真实顺序揭示。2024–2025 年从未公开的医院病历,降低了模型在训练中见过这些病例的风险。四个阶段且预先设定主要终点,可以看出性能如何随信息增加而变化。

第二,方法公开透明。按年龄分层随机抽样,样本量有依据,参考标准由两组之外的专家确定,列表经改写以隐藏来源,并按照 STARD-AI 指南报告。作者甚至公布了对自己不利的结果:盲法并未奏效。

第三,设置接近可能的实际部署:使用符合 HIPAA 的接口,且有检索与无检索两种配置的对比表明,在这里更简单的工具就已足够。资金来源包括公共资金(NIH,资助号 T32HD040128 和 R01DK137993)、慈善基金(Dunleavy Foundation)和机构资金,利益冲突均已声明。

不足之处

第一,人群偏倚,并伴有某种形式的信息泄漏。研究只纳入了一家大型儿科学术中心的住院儿童。然而,许多诊断错误和延误恰恰发生在被送回家的儿童身上,而且大多数儿童是在综合急诊科就诊的。更重要的是,智能体读到的是儿科急诊专家撰写的记录,有时写于诊断检查已经开始之后:医生的推理已写在其中,作者也承认这一点。因此,被比较的机器和医生都受益于已经开始的诊断工作,这会抬高所有人的表现。

第二,天花板效应造成的误导性指标。当双方都有 95% 的列表被评为高分时,几乎没有空间看出差异。该研究的样本量是按检测 10 个百分点的差异设计的;它检验的是差异,而不是非劣效性(即证明一种工具不比另一种差超过预先设定的界值)。因此,−5.8 至 +5.8 个百分点的区间并不能证明两者等效。Bond 评分也不考虑严重程度:漏诊脑膜炎与漏诊胃肠炎不可同日而语,而研究既没有报告错误分析,也没有报告漏掉的严重诊断,也没有按年龄报告结果。

第三,特殊的比较对象和失败的盲法。人类一方是四名医生的中位数,机器一方是两种配置的中位数:比较的是两个汇总结果,而不是一名急诊医生与一个工具。医生阅读的是病历记录,既看不到患儿,也没有时间压力,与真实值班相去甚远。由于评估者在九成以上的情况下能认出列表来源,其评分可能受到影响,方向不定。智能体更长的列表还可能导致不必要的检查,而这一成本未被测量。两名作者声明与 Google 有关联(一名为 Google LLC 员工,一名为 Google DeepMind 访问研究员),而被测试的模型来自 OpenAI。

带来的改变

对研究界而言,这篇预印本提供了一个可复用的方案(真实病历、分阶段揭示信息、预先规划的分析),也显示了当双方都接近天花板时 Bond 评分的局限。合理的下一步是:纳入被送回家的儿童,测试来自综合急诊科的记录,测量严重错误和由此引发的检查,然后前瞻性评估由该工具辅助的医生。

对临床医生而言,目前没有任何改变。Dr CaBot 是一个没有监管认证的原型,而且研究并没有测试医生在工具辅助下的表现。不过研究表明,在记录完善的病历上,一个通用 LLM 给出的鉴别诊断可与专科医生相当:只要它不会制造过多错误线索,就是"第二意见"角色的有力候选。

对患者和公众而言,目标是把儿科水平的推理带到没有儿科医生的急诊科。研究表明,在最有利的条件下,该工具并不逊于专科医生,但尚未证明它能在误诊真正发生的地方减少错误。

延伸阅读

预印本:Agentic AI versus pediatric emergency physicians for differential diagnosis of acutely ill and injured children,Georgette、Buckley、Fine 等,Boston Children's Hospital 与 Harvard Medical School,medRxiv,2026 年 11 月 18 日发布,DOI 10.64898/2026.11.16.26367440。原始数据无法共享;匿名化评分可按要求提供。

原始智能体:Advancing Medical Artificial Intelligence Using a Century of Cases,Buckley 等,arXiv,2025。

Tatakoto 相关文章:以医生小组校准的 LLM 评审员评估临床推理,以及 ChatGPT Health 在多轮对话中的分诊表现。

编辑透明度说明:本文由 Tatakoto 的自动化编辑流程根据该预印本第 1 版(medRxiv PDF 正文;未查阅补充表格)撰写。"每 100 名儿童"的换算直接采用已发表的比例。英文、西班牙文和中文版本由 AI 生成。发现错误?请联系我们。