用自然语言查询医院数据平台:在柏林夏里特医院,商用工具 AIRE 执行了可追溯的 SQL 查询时答案正确,未执行查询时则每次都出错(共 25 个问题)
柏林夏里特医院(Charité)的一个神经放射学团队将以色列公司 Briya 的商用自然语言查询工具 AIRE 接入其三家医院的数据平台,并就一个包含 1,594 名脑肿瘤患者的队列向它提出了 25 个问题。当工具执行了一条记录在日志中的查询时,给出的数字几乎总是正确或可核查的;当它不执行查询就直接作答时,数字无一例外是错的。这项研究规模小、仅涉及单一机构,且部分由厂商资助,但其核心结论扎实且可推广:AI 基于健康数据给出的数字,只有在能看到产生它的那条查询时才有价值。
背景
构建队列,即在医院记录中找出所有符合一组条件(某个诊断、某个年龄段、某种手术、某个时间段)的患者,几乎是每一项回顾性临床研究和每一次试验可行性评估的第一步。在大多数医院,这项工作依靠由信息技术人员或数据管理人员编写的 SQL 查询(SQL 是查询数据库的标准语言)完成,由此形成排队等待,也让临床医生高度依赖少数几个人。
大语言模型(LLM,large language model,即在海量文本上训练、能够生成文本或代码的模型)有望消除这一障碍:用日常语言提出问题,系统将其翻译为 SQL(称为 text-to-SQL),执行查询并返回结果。这一领域的学术研究很多,例如基于公开重症监护数据库构建的基准测试(benchmark)EHRSQL。但作者指出,几乎所有这些评估使用的都是科研数据库或原型系统,很少评估真正部署在医院实际基础设施中的商用产品,而后者面对的是本地编码、历史遗留数据表和数据治理规则。这篇于 2026 年 11 月 10 日发布在 medRxiv、尚未经过同行评审的预印本,正是要填补这一空白。
方法
研究场景是柏林夏里特大学医学院(Charité – Universitätsmedizin Berlin)的健康数据平台(Health Data Platform,HDP):它是三家大学医院临床系统的假名化镜像(患者身份被代码替换),包含行政数据、就诊、诊断和操作记录。被评估的工具 AIRE 安装在医院内网的一台虚拟服务器上:语言模型和查询组件均在本地运行,患者数据不出院。预印本没有说明底层使用的是哪个 LLM。厂商自行基于平台数据表构建了一个 FHIR 层(FHIR 是国际通用的健康数据交换标准);AIRE 生成 SQL 查询并通过 Trino 引擎执行,可以提出澄清性问题,并为每条查询保留可导出的日志(时间、SQL 代码、返回行数、执行状态)。
测试队列为带有 ICD-10 C71 编码(脑恶性肿瘤)的成年患者,作为胶质母细胞瘤的近似:按参考查询共 1,594 人。作者设计了分为三个模块的 25 个问题:逐步构建队列(成年人、2018 至 2023 年间首次诊断、随后接受手术切除)、队列特征描述(例如平均年龄),以及 17 个类型更多样的问题(再次切除率、前十位诊断、性别 × 年龄交叉表、放疗暴露、从诊断到死亡的间隔)。每个问题在向工具提问之前,都先手工编写了一条参考 SQL 查询。允许的改写只用于明确定义(字段、日期、编码前缀),从不提示预期数值。
每个回答被归入五类之一:完全正确;对齐定义后一致;错误但可追溯(日志中存在查询,可据此理解错误原因);错误且无日志(给出一个看似合理的数字,背后没有任何查询);未作答。未作答或答错的问题在新的对话线程中再提问一次。两名评估者独立对 37 个回答进行分类,用 Cohen kappa 系数(经机会校正的一致性指标,1 表示完全一致)衡量的一致性为 0.74。
结果
第一轮 25 个问题中,11 个回答完全正确,1 个对齐定义后一致,3 个错误但可追溯,6 个错误且无日志查询,4 个未作答。在不作任何改写的首次提问中,严格正确的只有 25 个中的 6 个,首次显示的数字正确的有 25 个中的 9 个。一个可追溯偏差的例子:在手术切除这一步,工具找到 1,248 名患者,而预期为 1,275 名,原因是它明确列出的操作编码清单(德国 OPS 分类)遗漏了更深层级的子编码。
核心发现出现在合并两轮结果(共 37 个回答)之后。在 23 个有日志查询支撑的回答中,22 个正确或至少可以核查;唯一的例外是界面显示的数字(84 名患者)与其自身查询的结果(101 名)不符。相反,在没有查询的情况下给出的 8 个数字全部错误,有时偏差很大:仅做活检的患者给出 117 人,实际为 258 人;接受化疗的患者给出 512 人(32.1%),实际为 142 人(8.9%)。同一队列的平均年龄先被给出为 64.9 岁(无查询),随后在不同对话中又分别给出 55.1、53.2 和 52.3 岁。
有一个简单的线索可以识破这些编造的回答:耗时。有查询的回答耗时中位数为 64 秒(四分位距 57 至 81 秒),没有查询的回答只需 3 至 6 秒。没有任何一个无日志的错误回答在新线程中以相同形式再次出现,作者据此推测,工具是在复用对话中积累的数值,而不是重新执行查询。
换成具体情形:一名研究者如果提出这 25 个问题并照抄首次显示的数字,会得到 9 个正确值,以及 6 个错误但可信、且不留任何痕迹的数值。如果采用一条严格规则(凡是没有可见查询的数字一律不接受),所有编造的数值都会被排除,但研究者仍需阅读可追溯回答的 SQL,才能发现第一轮中的 3 处定义错误。这个工具节省的是编写查询的时间,而不是核查的时间。
做得好的地方
第一,研究场景真实且少有记录。工具运行在一家大型医院的生产基础设施中,面对真实的编码和历史数据表,而不是演示数据库。预印本还描述了媒体报道往往忽略的内容:从 2024 年 10 月项目启动到 2026 年 6 月第一次成功查询,历时近两年,其中约九个月用于监管程序(数据保护影响评估和两阶段信息安全审查),而服务器就绪后,厂商的安装只用了两周。
第二,评估框架区分了可核查的错误与不可见的错误。作者没有只给出一个总体准确率,而是把“错误但可追溯”的回答和“错误且无痕迹”的回答分开。这正是实践中有用的区分,并由此得出可操作的建议:对话简短并按主题分开,每个问题都重述定义,不接受任何没有显示查询的数字,关键查询在新线程中重新执行。
第三,对失败情况的透明度不同寻常。作者报告了一个针对诊断核实状态的默认过滤条件,即使在提示中写明“不论状态如何”也无法关闭;一个展示层对数据行去重后丢失了部分患者;以及结构相同的问题在不同对话中时而成功、时而失败。问题、生成的查询与参考查询以及对应的日志条目均作为补充材料公开。
不足之处
第一,样本量非常小,可能存在误导性指标。25 个问题、每个问题只有一种表述、只重试一次、没有置信区间:“8 个中 8 个”和“23 个中 22 个”是引人注目的观察结果,而不是可靠估计的比率。对于自由文本工具至关重要的改写敏感性没有被检验,而且这组问题是在六周内逐步形成的,事先没有预注册。
第二,参考标准并非临床真相,属于广义上的有偏比较基准。金标准是团队自己编写的 SQL 查询,而不是回到病历逐一核对。如果数据平台本身不完整,工具和参考标准会一起出错:作者自己也指出,6.3% 的院内死亡率对胶质母细胞瘤而言低得不合常理,说明院外死亡没有被数据记录。C71 编码也不只对应胶质母细胞瘤。此外,两名评估者都知道参考数值,未设盲,第一名评估者还是亲自执行这组问题的人。
第三,可推广性不确定,利益冲突明显。单一机构、单一厂商、单一产品版本、单一队列:这是把人群偏倚移植到数据层面的典型情形,因为另一个编码方式和数据表不同的平台,可能得出截然不同的结果。Briya 部分资助了这项研究,免费提供平台,完成了数据映射,并审阅了稿件的事实准确性;第一作者在研究期间部分薪资由 Briya 支付,末位作者声明与该公司有科研合作协议,第二名评估者是 Briya 的前员工。作者对此作了清楚的声明,但读者应当牢记。由于底层语言模型未被披露,这一实验无法在该产品之外复现。
带来的改变
对科研界而言,这篇预印本改变了问题的焦点。一个 text-to-SQL 系统的平均准确率,不如它能否展示自己实际执行了什么来得重要。它主张评估应衡量“溯源性”(一个数字与产生它的查询之间可核查的联系),并主张工具应把“缺少查询”明确标记为不可靠的信号,这也是作者向厂商提出的建议。
对临床医生和医院数据团队而言,教训具体且立即适用:对话式界面可以加快可行性研究,但既不能取代阅读 SQL,也不能取代对数据平台陷阱(缺失编码、隐含过滤条件、未被记录的死亡)的了解。没有显示查询的即时回答应被视为编造,而不是结果。而且集成需要时间:在这里,两年的治理和 IT 工作,换来两周的安装。
对患者和公众而言,影响是间接但真实的:用这些工具构建的队列,被用来决定开展哪些研究、邀请哪些患者参加试验。看似合理却错误、又不留痕迹的数字,可能在无人察觉的情况下左右这些决定。研究表明,在这一场景下,只要切实执行,一条简单的可追溯性规则就足以把它们排除。
延伸阅读
预印本:Desser D, Brunecker P, Dell'Orco A, Galperin G, Wattjes MP, Nawabi J.《Natural-language cohort queries on a hospital data platform: accuracy and provenance in a real-world evaluation》,medRxiv,2026,DOI 10.64898/2026.11.09.26367645。问题、查询和日志摘录见补充材料 S1;完整对话记录可向通讯作者索取,患者层面数据不可共享。相关背景:EHRSQL 基准(Lee 等)及其 2024 年关于可靠 text-to-SQL 的共享任务,以及将试验入选标准转换为查询的 Criteria2Query。