在没有元数据的情况下审计医疗 AI 的隐藏偏倚：CAPRA 提出了什么——从图像本身猜出患者亚组
北京邮电大学的六位研究者提出 CAPRA，一种直接从图像重建人口学与技术性"轴"（年龄、性别、设备类型、投照体位）的方法，用以在做审计所需的元数据已经消失时，找出模型会失败的患者亚组。该方法在三种模态上评测——眼底（糖尿病视网膜病变）、皮肤镜（HAM10000）与胸部 X 光（CheXpert）——揭示出仅按元数据切分所看不到的差异，并在稳健学习复用其分组时，于十五个比较中的十四个上提升了最差亚组的表现。这一思路有用且如实呈现，但从图像去猜敏感属性会带来循环风险，而且没有任何东西在临床条件下得到验证。
背景
一个医学影像模型可以有着出色的平均表现，却在某一类患者身上严重失手：皮肤科中的深色皮肤、某一年龄段、某一特定型号的扫描仪。这一现象有个名字，叫隐藏分层：一个少数亚组被平均值淹没，承受着高得多的错误率，而总体数字并不会揭示它。经典的应对办法是按元数据——年龄、性别、设备、放射投照体位——去切分性能，以核验没有任何亚组掉队。
这份预印本所攻克的问题简单而具体：这些元数据往往缺失。一旦模型被部署，或在外部数据集上被评测，年龄、图像来源或采集协议并不总是被记录。没有这些标签，按亚组的审计便无从谈起，尤其是那些稳健学习方法——像 Group DRO 那样，在训练时明确保护其最差群体的方法——也就失去了它们赖以运作的群体结构。两个概念有助于阅读。平衡准确率（balanced accuracy）是各类别正确分类率的平均：它防止多数类掩盖对罕见类的失败。最差亚组准确率（worst-group accuracy）衡量在最不利亚组上的表现：这才是公平性上真正重要的数字，因为它道出我们对最脆弱患者的辜负有多深。
方法
CAPRA——即 calibrated proxy-axis（"经过校准的代理轴"）——分三步进行。首先，一个模型学会仅从图像预测一些语义轴，用以替代缺席的元数据：一个年龄段、一个性别、一处病灶位置、一种正位或侧位投照、一种采集协议。这些是代理（proxy）——替代性的估计——因为真实信息在部署时并不可得。
随后是决定性的一步：校准。当一个预测所宣称的概率与实际观察到的频率相符时，它才算被校准——如果模型说"这张图有 70% 的可能是正位投照"，那它就必须确实十次里对七次。CAPRA 在一个元数据确实存在的小子集上校准其各轴的概率，并通过患者层面的交叉拟合（cross-fitting）来做：用于估计的数据与用于校准的数据被分开，两者之间不共享任何患者，从而避免模型在自己的数据上给自己打分——这是机器学习中误导性结果的头号来源。最终产物是一个经过校准的亚组接口：一张在部署时无需标签即可使用的亚组地图，用于两种用途——事后分析模型的失败模式，以及在上游为稳健学习提供支撑。
评测覆盖三种模态：用于糖尿病视网膜病变的眼底、使用 HAM10000 数据集的皮肤镜（七类皮肤病灶分类），以及使用 CheXpert 的胸部 X 光（胸腔积液的二分类检测）。所审计的轴是具体的：皮肤一侧为年龄、性别、病灶位置；胸部一侧为性别、年龄、正位或侧位、前后位或后前位协议。性能以平衡准确率、按样本量过滤的最差亚组准确率，以及 Macro-F1（各类 F1 的平均）来读取。HAM10000 与 CheXpert 充当域外验证集——一次在分布偏移下的真正测试——作者明确表示不用它们来校准或选择模型。对照方法是仅按元数据切分、一种仅基于图像的方法，以及一种从表征空间抽取的"潜在切片"（latent-slice）分组。
结果
第一项收获是一个审计层面的观察：在三种模态上，CAPRA 让仅按元数据切分所看不到的差异浮现出来。换言之，可得的元数据——在还剩下一些时——并不足以圈定真正失败的亚组；从图像重建的轴更好地捕捉到了断裂线。这些分组与显式失败轴的对齐，也比两个对照方法（仅图像、潜在切片）更为紧密，而且在分布偏移下、在域外集上，这一信息仍然可用。
第二项收获关乎复用：当稳健学习依靠 CAPRA 的分组、而非缺席的群体标签时，最差亚组的表现在十五个比较中的十四个（方法 × 数据集的组合）上得到提升，平衡准确率在十五个中的十一个上得到提升。因此总体方向是积极的，但作者自己也说：这些增益是依赖于领域的，时而明显，时而微弱，取决于模态与所用的稳健学习方法。换算到临床，其价值无需额外数字即可理解：一个显示 90% 平均准确率的视网膜病变筛查工具，可能藏着一个只有 70% 的亚组；能够在部署之前、即便没有其元数据的情况下识别出该亚组，正是当下那些在临床中安装这些模型的团队所欠缺的。
做得好的地方
一个真实的部署问题，被从正确的一端抓住。大多数公平性研究都假设元数据可得；它们描述的是一个实验室世界。CAPRA 从实际情形出发——模型一旦投入生产，元数据便不完整或缺失——并提供一个在该情形下奏效的工具。这是一次有用的重心转移，从理论审计转向可部署的审计。
避开经典陷阱的统计严谨。校准这些代理、而非直接使用它们，以及在患者层面做交叉拟合，恰恰是通常缺失的那些防范。把患者在估计与校准之间分开，排除了数据泄漏；校准概率则避免把一个不确定的亚组估计当作确定来对待。这在此类预印本中是罕见的方法学卫生。
跨三种模态、并在分布偏移下的评测。眼底、皮肤镜、胸部 X 光：三个审计轴各不相同的领域，在域外集（HAM10000、CheXpert）上测试，而作者禁止自己用它们来调参。这种纪律——不去拟合测试集——赋予了这样一个结论以分量：差异在原始数据之外依然可见。
做得欠佳的地方
难以排除的循环，以及捷径学习的风险。从图像去猜设备或投照体位，恰恰就是在学习像素中存在的采集印记。然而这些印记往往正是想要审计的偏倚之成因：一个在某种扫描仪上失败的模型，和一个识别出该扫描仪的代理，依凭的是同一个伪影。用一个在偏倚上训练出来的检测器去审计偏倚，制造了一种循环，预印本部分地承认它，却没有加以了断——而捷径学习的风险——即代理抓住一个寄生的捷径、而非目标属性——依然完全敞开。
一个可能抹去最小亚组的指标。所用的最差亚组准确率是"按样本量过滤"的：低于一定病例数的亚组被从计算中剔除。这在统计上可以理解——在五名患者上算出的比率毫无意义——但在临床上令人不安，因为往往正是最罕见的亚组风险最高。这里潜伏着一种误导性指标："更好的最差群体"只有在知道哪些群体因样本量不足而被排除时才让人安心。此外，CAPRA 需要一个带标签的小子集来做自我校准：该方法减少了对元数据的依赖，却并未将其消除。
毫无临床验证，以及悬而未决的伦理问题。一切都建立在回顾性的公开数据集之上（HAM10000、CheXpert、一个视网膜病变数据集）：没有前瞻性评测，没有真实部署，没有转化为对患者的后果。既未提及资助，也未提及利益冲突，且没有任何迹象表明公开了可让审计在别处复现的代码或权重。最后，从一张图像去重建敏感属性——年龄、性别，明天还可能是族裔——以便"更好地审计"，是一把双刃剑，而预印本并未讨论其治理。
它改变了什么
对研究界而言，其贡献清晰：一个提醒——聚合性能靠遗漏来撒谎；以及一块具体的积木——在元数据缺失时进行审计，而这远远是干净基准之外最常见的情形。"经过校准的代理"这一方向前景可期，但它必须直面自身所携带的循环：人们将不得不证明，重建出的轴不只是伪装成临床属性的扫描仪指纹。
对临床医生和负责部署的团队而言，眼下没有可直接使用之物，却有了一个如今无可回避的问题：在安装一个购入或已发表的模型之前，如何在没有本地人群元数据的情况下，核验它不会在部分患者群体上崩塌？CAPRA 为这一投产时的盲点勾勒出一个方法学答案，只是尚未在真实条件下加以验证。
对患者与公众而言，教训是双重的。一方面，医疗 AI 的偏倚真实存在，且常常在官方数字中不可见：有工具把它们揪出来是一种进步。另一方面，一个从医学影像去猜你年龄或性别、以便"更好地保护你"的系统，其本身就提出了一个隐私与治理的问题，而任何技术性能都不足以将其了断。
延伸阅读
预印本见 arXiv（2607.09102），由 Yawen Li、Yan Li、Zhe Xue、Yingxia Shao、Meiyu Liang 与 Guanhua Ye（北京邮电大学）于 2026 年 7 月 10 日提交，尚未经过同行评审，也未宣布任何代码或数据集。关于影像模型的稳健性、泛化与审计，参见我们对病理基础模型面对扰动时的稳健性、一款皮肤癌皮肤镜 AI 的外部临床验证以及一款宫颈癌阴道镜 AI 的多国验证的解读。
编辑透明度说明：法文版由 Tatakoto 编辑部在阅读预印本后撰写并署名。英文、西班牙文和中文译文在 AI 协助下完成并经审校。