RadGrounder：一个能"指出自己在看哪里"的放射学视觉-语言模型，在120万张切片上训练，且无需人工标注
来自弗莱堡大学和奥胡斯大学的团队提出了RadGrounder，一个视觉-语言模型：它能撰写放射学报告、就图像回答问题，并且——尤为关键——能在CT或MRI切片上指出它所谈论的结构。它真正的贡献并非某个破纪录的分数，而是一种数据制造方法：120万个图像-文本对和960万个问答对是自动生成的，无需人工标注，其做法是让其他语言模型在单一医院的报告上"干活"。其结果在两个公开问答集上可与现有最好的医学模型比肩——但其空间锚定只指向器官，从不指向病灶，而整条训练链条都建立在由AI生成、从未有放射科医生核对过的标签之上。
背景
视觉-语言模型（英文vision-language model，VLM）是一种以图像为输入、以文本为输出的系统：描述一张影像，或用自然语言回答关于影像的问题。在放射学中，这类模型有望协助撰写报告和查询图像。它们被记录得最多的缺陷是幻觉：模型信心十足地断言图像中并不存在的东西——一个虚构的病灶、一个杜撰的位置。
约束这类模型的一条途径是空间锚定（grounding）：迫使系统用一个边界框或一个掩膜，指明其断言所针对的图像精确区域。一个"被锚定"的输出是可核验的——人们可以查看模型是否指对了地方。实际的问题在于成本：训练一个用于锚定的模型，通常需要放射科医生在图像上手工画出成千上万个框，既慢又贵。这篇预印本试图打破的正是这个瓶颈——用自动方式而非人工来制造标注。
方法
这项工作的核心是一个数据集RefRad2D，由一所大学医学中心（德国弗莱堡）横跨十年实践的临床档案构建而成。它汇集了120万个图像-文本对，取自94.5万张CT切片和32.1万张MRI切片。此处的模型处理的是单张二维切片，而非整个三维体数据。
标签的制造几乎完全自动化，这是决定性的一点。以德语撰写的报告，由Gemma 3模型（270亿参数）翻译成英语，翻译质量则借助另一个模型GPT-OSS（1200亿参数）作为评判来迭代改进。同一个GPT-OSS随后重写图注，剔除那些在单张图像上毫无意义、且会诱导模型幻觉的时间性表述（"病灶自上次检查以来变大了"）。一个问答子集——约960万个问答对——由Gemma 3生成，每张图像若干问题（开放式、是非、多选）。
对于锚定，作者未动用任何放射科医生：他们把体数据交给TotalSegmentator——一个自动分割器官的工具——为CT的117个解剖类别和MRI的50个类别生成掩膜，并归并为121类。GPT-OSS在每条图注中识别解剖学提及，并将其与相应的掩膜相连；只有当文本与掩膜确实指向同一结构时，该图像才被保留。这一筛选产生了236 157张带空间标注的切片。
模型本身名为RadGrounder，构建在PaliGemma 2（30亿参数）之上：一个SigLIP视觉编码器（先适配医学领域，随后冻结，即在最终训练中保持固定）将图像转化为词元，由Gemma-2B语言解码器与文本一并读取。锚定的巧思在于把检测当作文本生成：一个框的坐标被切分为512个离散值，模型像"写字"一样把它们写出来。完整训练可在单张H100 GPU上于约两天半内完成。
评估结合了一个内部测试集（来自RefRad2D），以及——尤为关键——两个外部公开集Slake和VQA-RAD，它们是医学影像问答的基准参照。指标包括：CIDEr（描述质量）、F1（精确率与召回率的调和平均）、封闭式问题的准确率，以及G-IoU（预测框与真实区域的重叠度量）。一个自动质量分LLMScore（以Gemma 3充当评判），在200个问题上与三位放射科医生进行了对照验证。
结果
在外部基准上，RadGrounder足以与最好的医学模型抗衡。在Slake上，它达到87.7的F1和90.3%的封闭式问题准确率——与BiomedGPT-B（85.2和89.9%）和LLaVA-Med（86.8%准确率）不相上下，并高于Med-Gemini（F1为75.8）和MedGemma（72.3）。在更难的VQA-RAD上，它在被比较的模型中取得最佳的开放式问题F1（50.7），但封闭式问题准确率较为一般（64.7%）。就锚定而言，文本生成变体胜过专门的分割头变体：G-IoU为43.6对36.9。
临床转译要求克制。43.6的G-IoU意味着预测框平均与目标区域的重叠不足一半：作为概念验证尚可，离可靠定位还很远。而且这种锚定针对的是整个器官，而非异常。模型会指"肝脏"，却不会指"肝脏肿瘤"。在计量学方面，LLMScore的验证做得细致——放射科医生间一致性为0.958（Krippendorff），自动分与人工均值的相关性为0.977——但这是在一个小型外部样本上测得的，而非在模型自身所制造的问题分布上。
做得好的地方
一个免去人工标注的数据引擎。在无人画一个框的情况下，用一张GPU在两天半内生产出120万个图像-文本对、960万个问答对和23.6万张带锚定的切片，是一项真实且可复现的方法学贡献。自动剔除图注中时间性表述这一细节，是对已知幻觉成因的巧妙对策。
把空间锚定作为一种抗幻觉的纪律。迫使模型指明为其断言背书的区域，是让其输出可核验的正确方向。将检测当作文本生成的选择，比专门的分割头更简单，此处还表现更好（G-IoU 43.6对36.9），从而精简了架构。
一次方法学上干净的评估。基于10 000次重采样的自助法置信区间、自动分与三位放射科医生的对照验证，尤其是对一个已知陷阱的纠正：VQA-RAD在训练集与测试集之间存在共享图像，这是一种数据泄漏（测试集被训练集污染，从而抬高分数）；作者采用了一个净化后的划分以避免它。这正是文献中常常缺失的那种严谨。
做得欠佳的地方
由AI制造、从未经放射科医生核对的标签：比较对象与真值缺失这两种失效模式。翻译、图注重写、960万个问答对、器官掩膜、文本-图像匹配——全部由Gemma 3、GPT-OSS和TotalSegmentator生成。没有任何人工真值来验证这些三元组。这些"教师"模型的任何系统性错误都会被"学生"学到并内化，而RadGrounder的质量上限，是其生成器的上限，而非放射科医生的上限。
锚定只指向解剖，而非病理：一条削弱其承诺的捷径。TotalSegmentator分割的是器官，因此"指出它在看哪里"指的是正常结构，而非病灶——恰恰是临床医生最希望被定位的东西。所宣称的可核验性因此远比看上去的要弱，而43.6的G-IoU即便在这些容易的解剖目标上也仍然平平。
一个部分循环的指标，以及一处人群偏倚。LLMScore用Gemma 3——正是生成了训练问题的那一模型家族——来评判答案，存在因偏袒而指标误导的风险，而在200个外部条目上的验证并不能完全排除这一点。再加上人群偏倚（单一的德国医院，英语系机器翻译而非母语），评估仅限于基准而无前瞻性临床研究，以及缺乏开放：代码宣称"于发表时"公开但至今未发布，数据未共享，许可证未说明。
这意味着什么
对研究界而言，真正的贡献是这个数据引擎：一个可复现的模板，用以在没有标注预算的情况下构建带锚定的放射学训练集，以及一种通过文本生成来做检测的优雅方式。这是其他团队会复用的工具——前提是他们清楚，自己也一并继承了生成模型的偏倚。
对临床医生而言，今天没有任何东西可以部署：锚定针对的是器官而非异常，评估仍局限于问答集，数据来自单一中心，权重也不可获得。对患者和公众而言，这项研究示范了两条阅读规则。其一，"AI指出它在看哪里"让人以为它指的是你的肿瘤，而此处它指的是器官。其二，"在120万张图像上训练"掩盖了标签是由其他AI而非医生写就的——在判断可靠性时，这一区别改变了一切。
延伸阅读
预印本可在 arXiv（2606.20477） 获取，并有专门的项目页面（radgrounder.github.io）；用于锚定的自动分割工具是 TotalSegmentator。关于临床视觉-语言模型及其陷阱，参见我们对 一个文本压过图像的模型 的解读；关于以少量数据适配放射学模型，参见 PromptRad 的解读；关于放射学中的大语言模型，参见 GPT-4的解释格式 的解读。
编辑透明度：法文版由Tatakoto编辑部在阅读预印本后撰写并署名。英文、西班牙文和中文译本在AI辅助下生成并经过审校。