Jev:每1000次回答仅0.02美元的决策模型——为大语言模型分担结构化临床任务,前提是只在它“有把握”时才信任它

Clalit研究所与本-古里安大学的团队将非生成式“决策模型”Jev与十个大语言模型(LLM)在封闭式答案的临床任务上进行了比较。单独使用时,Jev明显不够准确:结肠癌分期准确率为45.4%,而LLM为94.2%至100%。但它“完全有把握”的回答几乎总是正确;若让它先回答、没把握时再交给LLM,混合方案与单独使用LLM相差不到1.7个百分点,使用旗舰LLM时成本降低33%至44%。思路站得住脚,但这篇预印本依赖合成的病理报告,且所用模型的架构未公开。

背景

LLM在临床中的许多用途其实是封闭式任务:判断患者是否高危、在几个选项中选一个、把病例放到有序量表上(例如肿瘤分期)。通用LLM逐词生成文本,能力强,但成本高、速度慢,其输出也不是校准过的概率。因此作者提出一个工程问题:能否把其中一部分任务交给小得多的模型,由它直接返回概率、类别或等级并给出置信度,只在其余情况下才调用LLM?

该预印本于2026年10月12日发布在medRxiv上,未经同行评审,并声明不应用于指导临床实践。

方法

被测模型。Jev(1.13版)由TypeSafe AI公司开发。它是一种决策模型:对一个病例提出带类型的问题,它返回一个概率(是/否)、每个选项的概率(选择题),或有序量表上每个等级的概率(评分)。论文没有描述其架构、参数量和训练数据。

三类任务。(1)死亡风险:NHANES队列(1999–2008年,与死亡记录关联)中12,697名40至79岁成年人的十年死亡率,以及eICU演示数据库中1,297次重症监护住院的院内死亡。(2)类别选择:作者撰写的180个患者问题,涉及14条Choosing Wisely建议(125条低价值、55条适宜),另有1,571道考试题(MedQA 1,273道,Medbullets 308道)。(3)有序量表:240份合成的结肠癌病理报告(按AJCC第8版评分),以及561份eICU记录用于急性肾损伤分期。

对照。十个LLM(五个旗舰、五个较小模型,包括MedGemma 27B),通过OpenRouter平台以默认设置调用。对于死亡率,还以逻辑回归作为参照。

统计。置信区间采用自助法(2,000次配对重抽样)。对混合方案采用非劣效性检验,界值为5个百分点:即检验混合方案相对单独使用LLM的损失不超过5个百分点。多重比较采用Holm校正。

结果

机器学习指标。十年死亡率方面,AUROC(模型给死亡者的风险高于随机抽取的存活者的概率):Jev为0.822(95%置信区间0.813–0.832),旗舰LLM为0.837至0.846,逻辑回归为0.854。校准(预测风险与观察风险的一致程度)较差:平均预测风险为26.3%,实际观察为15.8%;LLM为18.5%至25.2%。在重症监护中,AUROC为0.836,对比0.845至0.880。

患者问题的平衡准确率:Jev为87.7%(置信区间82.7–92.1),LLM为98.4%至100%;考试题:85.6%,对比91.2%至95.9%。结肠癌分期:45.4%,对比94.2%至100%;63份III期报告中有9份被判为0–II期。急性肾损伤:54.4%,对比90.9%至99.5%。

开发者推荐的输入。加入医学背景(对每个选项的定义)并分解任务(由代码根据四个子问题计算分期)后,Jev的结肠癌分期准确率依次升至75.8%、82.1%和85.8%;采用KDIGO标准后,肾损伤达到91.8%。LLM获得同样辅助后分别达到98.8%至100%和97.9%至100%。死亡率的校准没有改善。

置信度信号。在所有任务中,Jev的1,354个“完全有把握”回答中有1,351个(99.8%)是正确的;其34个分期错误无一是完全有把握的。采用推荐输入时,它对48%的病理报告完全有把握。

混合方案。Jev独立回答了240份报告中的116份(48.3%),其余交给LLM。混合分期准确率为95.8%至100%,与单独使用LLM相差0.0–1.7个百分点,十个组合均满足5个百分点的非劣效性界值。使用旗舰LLM时,成本降至单独使用LLM的56%–67%(减少33%至44%),但有两个使用小模型的组合成本反而更高。准确率最低的几个LLM借助Jev提高了21至42个百分点。此外,Jev的回答中位时间为0.90至1.02秒,而LLM为2.5至36.8秒;每1,000次回答成本为0.02至0.04美元,LLM为1.56至15.08美元。

临床换算。每1,000份III期报告中,“标准”Jev大约会把143份判为0–II期(63份中有9份),这种错误可能改变辅助化疗的决策——这正是不应单独使用它的原因。就死亡率而言,平均预测风险26.3%而非15.8%,相当于每1,000名成人预测约263例死亡,而实际观察约158例(编辑部计算)。就混合方案而言,每1,000份报告中约有483份由Jev直接解决、无需调用LLM,准确率数据如上。

优点

提出并量化了一个清晰的工程问题。论文并未声称Jev可以取代LLM:它先报告了Jev准确率较低且校准不佳,再说明在什么条件下可以分担任务。成本、延迟和准确率在十个组合中一并测量。

单独评估了置信度信号。论文报告了完全有把握的回答中有多少是错的(1,354个中有3个),以及正确回答中有多大比例是完全有把握的(分期任务为56%),而不是只看总体准确率。这使混合方案具有可信度。

比较方法严谨,且部分可复现。预先设定非劣效性界值、配对自助法、多重比较校正,并以逻辑回归为基准。代码、提示模板和汇总结果发布在GitHub(MIT许可)并存档于Zenodo;NHANES、eICU、MedQA和Medbullets均为公开或受控访问的数据源。

不足

数据为合成且由作者撰写(人群偏倚、对照有利)。240份病理报告是合成的,仅有一部分经医生裁定;患者问题由作者撰写并由一位医生作者验证。真实报告通常更不规整、更不统一:48.3%的覆盖率和混合方案的准确率在真实数据上可能下降。重症监护数据来自演示数据库,肾损伤样本中病例比例被富集。

模型不透明,与开发者的关系有待说明(利益冲突)。Jev归TypeSafe AI所有;架构、规模和训练数据均未描述,也未说明模型权重是否可获取。作者声明无利益冲突、无外部资助,但在我们查阅的部分中,作者与该公司之间是否存在关系并未说明。要复现患者问题和病理任务,需要向作者提出申请。

置信度可靠……仅限于这些数据集(指标误导、可能的泄漏)。考试题是公开的,可能出现在LLM乃至Jev的训练数据中。99.8%的“有把握且正确”是汇总数字:确实存在三个有把握的错误,而分布外情形下其频率如何变化并不清楚。最后,死亡率被排除在混合方案之外(概率对个体无所谓“对错”),成本则基于2026年9月的公开标价和时间估算。

意义

对研究界。提供了一个可复用的流程:不仅衡量小模型的准确率,还衡量其置信度指标的可靠性,以及带非劣效性界值的级联方案的准确率。合乎逻辑的下一步,是在真实医院病历上、并与其他决策模型对比测试,同时详细说明训练过程。

对临床医生。目前没有任何改变:这是排除临床使用的预印本。中期来看,启示在于架构:对于医院信息系统中的分类或分期任务,“轻量模型+LLM”的级联可以降低成本和延迟,前提是用本机构自己的数据审核置信度指标。

对患者和公众。没有直接影响。记住一个反应:一个“知道自己不知道”的AI工具,比一个略微更准确却总以同样自信作答的工具更有用。

延伸阅读

预印本:Ariel D.、Laban G.、Endelman S.、Balicer R.、Dagan N.、Cohen S.,“Decision models can offload structured clinical tasks from large language models”,medRxiv,2026年10月12日(DOI 10.64898/2026.10.09.26365130)。代码与汇总结果:GitHub仓库“deanariel-md/decision-model-offload”(MIT许可)及Zenodo存档(DOI 10.5281/zenodo.23070012)。参考数据:NHANES及其关联死亡文件、eICU(PhysioNet)、MedQA、Medbullets。

编辑透明度说明:本文在人工智能工具的辅助下,依据预印本全文制作;除按每1000例换算的数字由编辑部计算外,所有数字均来自论文。英文、西班牙文和中文版本均为机器翻译。