输血反应:三个开放权重LLM从临床病历中提取NHSN规程体征,误报很少,但最好也会漏掉四分之一,且仅基于50份病历、缺乏独立参考标准

一个来自北美和印度的团队构建了一条由开放权重大语言模型(LLM)组成的处理流程,它阅读临床病历文本,并按照美国NHSN血液警戒规程,逐项提取界定输血反应的体征。在由两名医生审阅的50份病历中,三个受测模型在标出某项内容时极少出错(精确率高于0.98),但表现最好的模型约漏掉四分之一的条目,另外两个则漏掉三分之一以上。这是一项诚实且可复现的可行性验证,但还不是监测工具:样本量小、取自疑似病例,而且参考标准是通过审阅模型自身输出建立的。

背景

输血反应是与输注血液制品相关的不良事件,包括发热、过敏反应、溶血、输血相关循环超负荷(TACO,transfusion-associated circulatory overload)或输血相关急性肺损伤(TRALI,transfusion-related acute lung injury)。在美国,隶属于CDC的国家医疗安全网络(NHSN,National Healthcare Safety Network)的Hemovigilance模块,基于体征、症状和实验室结果,为十二类输血反应提供了标准化病例定义。

问题由来已久:大多数输血反应从未被上报。作者引用的一项电子监测研究显示,在算法检出的78例TRALI和45例TACO中,分别只有11例和5例上报给了血库。线索往往存在,但以自由文本的形式散落在临床医生的病历中,结构化数据查询和关键词检索都难以有效利用。因此出现了一个思路:使用LLM,即在海量文本上训练、能按指令从文本中提取信息的模型,把这些病历转化为可用的变量。Tatakoto此前已解读过相近的尝试,例如从录音问诊中提取放疗不良反应,以及在临床病历中识别非癫痫性发作。

方法

作者首先将NHSN规程(3.0版)转化为一个包含181个条目的词表:93个取自十二类反应定义的临床或实验室体征(呼吸困难、瘙痒、LDH升高、血培养阳性、双侧浸润等),以及88个“相关阴性”条目,即明确记载某一体征不存在,这类信息有助于排除输血反应。

该流程被称为“多智能体”(multi-agent),但每个阶段使用的都是同一个模型,只是指令(prompt)不同。第1阶段识别各条目为存在或不存在,并附上支持该判断的原文引述;输出结果以确定性方式与词表匹配,词表外的术语一律丢弃。第2阶段确定每个条目相对于输血的时间,无法判断时标记为“不确定”。第3阶段填写NHSN方案中的详细变量,只接受允许的取值。另有两个探索性阶段(治疗、既往史)未经评估。

研究比较了三个开放权重模型(open-weight,即参数可下载):Qwen 3.6-27B、GPT-OSS-120B和Kimi K3。前两者以温度0运行(输出近乎确定),Kimi K3以服务商固定的温度1.0运行。模型并非在本地运行,而是通过在线服务Groq和OpenRouter调用;据作者称,这些服务已配置为不保留数据。

评估涵盖50份病历:10份来自发表于Transfusion的一项NHSN模块验证研究(Fung等)的专家编写情景,20份来自PMC-Patients的已发表病例报告,以及20份来自MIMIC-IV(波士顿Beth Israel Deaconess医学中心的数据库)的出院小结。真实病例先通过关键词预筛,再由一个LLM和资深作者分拣;18份用于开发的病例被排除在评估之外。

研究没有独立建立的参考标注。两名医生在一个盲法界面中(模型匿名、顺序随机)审阅了三个模型的每一份输出:他们接受或否定每个条目,并可补充模型遗漏的条目。主要分析只保留两名医生意见一致的条目。评估指标包括灵敏度(被判定存在的条目中模型找到的比例)、精确率(提取出的条目中正确的比例),以及一个“特异度”,此处定义为模型声明“不存在”的条目中得到确认的比例。

结果

两名医生在共同评定的1,343个条目中有1,201个意见一致(89.4%),Krippendorff's alpha为0.73(一种校正偶然一致的一致性指数,1表示完全一致)。在这些一致条目上,三个模型的精确率均高于0.98。Kimi K3的灵敏度为0.774(95%置信区间:0.745-0.800),GPT-OSS-120B为0.636(0.604-0.667),Qwen 3.6-27B为0.624(0.593-0.655),对应的F1分数(精确率与灵敏度的调和平均)分别为0.87、0.78和0.77。“特异度”在0.95至0.99之间。将不一致的条目重新纳入后,数字几乎不变(0.78、0.65和0.62),排名也不变。

错误几乎都是遗漏:Kimi K3有196个假阴性,GPT-OSS-120B有317个,Qwen有354个,其中95%至100%为单纯遗漏。假阳性很少:正文中Qwen为2个、GPT-OSS为4个、Kimi K3为12个,但一张补充表格中Kimi K3为6个,预印本没有解释这一不一致。遗漏主要集中在实验室标准和复杂的定义性标准(如“与感染相符的不明原因临床疾病”),以及血尿与血红蛋白尿等细微区分上。Kimi K3的灵敏度在专家情景中为0.68,在已发表病例中为0.82。时间判断在92%以上的情况下被评为正确或合理,临床细节在97%以上。

换算成直观数字(根据已发表的假阴性数,由我们计算):在一份典型病历中,Kimi K3约漏掉四个规程条目,另外两个模型漏掉六到七个。在医生判定存在的每100个条目中,Kimi K3约找到77个,其他模型约63个。反过来,在模型标出的每100个条目中,错误的不到2个。因此,这一工具在“肯定”时可靠,在“沉默”时不完整:对主动监测而言,代价在于遗漏,因为缺少一个标准就可能使病例落在NHSN定义之外。

做得好的地方

第一,任务紧扣临床。作者没有直接问模型“是否发生了输血反应?”,而是让它处理NHSN官方定义的组成要素,并给出原文引述和时间信息。每一条输出都可以由人工核查。

第二,人工评估细致,数字披露透明。两名医生对模型身份设盲,报告了评分者间一致性及其置信区间,进行了重新纳入分歧条目的敏感性分析,并按来源报告结果、分析了错误类型。

第三,真正的可复现性。三个模型都是开放权重;代码、指令、181条目词表以及MIMIC-IV病历标识符均已在GitHub公开,另外两个数据来源也是公开的。

不足之处

第一,参考标准的构建方式本身导致具有误导性的指标。参考标准不是独立标注,而是对模型输出的审阅:医生可以补充遗漏,但一个没有任何模型发现、审阅者也未注意到的条目永远不会进入分母,这往往会高估灵敏度。此外,界面会把一个模型标签页中的判断同步到其他标签页,削弱了评分的独立性。主要分析剔除了10.6%的分歧条目,而这些往往是最模糊的情况。最后,所报告的“特异度”衡量的是模型声明“不存在”时的可靠性,而不是在确实什么都没有时不发出信号的能力:把它与经典诊断特异度相比是错误的,作者对此也予以承认。

第二,选择偏倚和人群偏倚。50份病历被预先挑选为可能的输血反应,并假定每份病历只有一次反应:我们不知道其中有多少真正描述了输血反应,而真实任务(在成千上万份输血患者病历中找出少数反应)并未得到检验。MIMIC-IV病历来自美国单一一家学术医院,而已发表的病例报告本质上比日常病历更完整、写得更好。它们也是公开的,因此可能出现在模型的训练数据中,这是一种可能的数据泄漏(data leakage),研究并未加以检验;而灵敏度恰恰在这些病例上最高。

第三,缺少对照。研究没有测试任何外部基线:没有关键词规则,没有不分阶段的单一指令,也没有由血液警戒专业人员进行的人工摘录。因此我们不知道多阶段流程带来了什么,也不知道77%的灵敏度是否优于现有做法。各模型的条件也不一致(Kimi K3温度为1.0,其他为0),每份病历只处理了一次,运行之间的变异性没有测量。在数据处理方面,MIMIC-IV病历被发送到在线服务;作者引用了PhysioNet的规则和“不保留数据”的配置,但没有说明如何核实。另有一名作者声明曾作为外包人员参与OpenAI关于健康类回答安全性的项目;研究未声明任何资助。

带来的改变

对研究界:这项工作提供了可复用于基于LLM的血液警戒的结构化词表、代码和评估方案。合理的下一步是在未经筛选的输血患者病历流上进行评估,在查看模型输出之前建立独立的参考标注,并与现有监测方法进行比较。

对临床医生和血液警戒团队:目前实践中没有任何改变;作者自己也指出,在接入上报数据库之前,该流程还需要调整。其错误特征是误报极少而遗漏很多,这提示它更适合作为审阅辅助工具,由工具预填记录、再由人工补全,而不是作为自主过滤器。

对患者和公众:输血反应漏报是患者安全中的一个真实盲区,这类工具将来或许能帮助更准确地统计它们。但一个在最好情况下仍会漏掉四分之一体征的模型,目前还不能充当安全网。

延伸阅读

预印本:Multi-Agent Generative Artificial Intelligence for Transfusion Reaction Feature Extraction,Kumari等,medRxiv,2026年11月9日发布,DOI 10.64898/2026.11.06.26367389。未经同行评审。

代码、指令和词表:作者的GitHub仓库(预印本中未注明许可证)。病例定义:CDC NHSN Hemovigilance模块3.0版。数据:MIMIC-IV-Note(PhysioNet,需资质认证访问)和PMC-Patients。

编辑透明度说明:本文由Tatakoto自动化编辑流程根据预印本第1版生成;未能查阅补充表格。每份病历及每100个条目中的遗漏数为我们根据已发表数据自行计算。英文、西班牙文和中文版本由AI生成。发现错误?请联系我们。