CS1-4B, un petit modèle pour lire les dossiers patients : 13 tâches sur 14 gagnées contre des modèles jusqu'à 27 milliards de paramètres, mais des étiquettes issues d'autres LLM et aucune validation prospective

Une équipe de Mass General Brigham et du MIT présente Clinical System One (CS1-4B), un petit modèle de langage de 4,2 milliards de paramètres qui répond à des questions typées sur des dossiers patients, en une seule passe de calcul et avec une probabilité attachée à chaque réponse. Sur 963 408 patients de l'hôpital d'origine, il devance les modèles ouverts comparables jusqu'à 27 milliards de paramètres sur 13 tâches sur 14, et il approche leurs scores sur 21 jeux de données publics, pour un coût de calcul bien moindre. Le résultat est solide pour l'ingénierie des dossiers de santé, mais une grande partie des étiquettes d'entraînement et d'évaluation vient d'autres modèles de langage, et rien n'est validé en conditions cliniques.

Le contexte

Un dossier patient hospitalier contient des années de comptes rendus, de résultats et de prescriptions. Pour savoir « ce patient a-t-il déjà reçu un anticoagulant ? » ou « est-il éligible à cet essai clinique ? », la méthode courante consiste à confier le dossier à un grand modèle de langage (LLM, un réseau entraîné à prédire du texte, qui sait aussi répondre à des consignes). C'est précis mais lent et coûteux : chaque question relit le dossier entier.

Les auteurs, dont Faisal Mahmood (Mass General Brigham AI Institute, Harvard Medical School, MIT), défendent une division du travail inspirée de la distinction « système 1 / système 2 » en psychologie : un petit modèle rapide lit les dossiers et rend des jugements courts et typés, tandis qu'un grand modèle génératif pose les questions et assemble les preuves. C'est une préimpression arXiv (identifiant 2610.27099, soumise le 19 octobre 2026, catégorie cs.AI), non relue par des pairs.

La méthode

L'architecture. CS1-4B est un modèle de 4,2 milliards de paramètres, initialisé à partir de Decision 2.0 Nox-4B, lui-même dérivé de Qwen3.5 (un modèle de langage ouvert) avec 24 couches d'attention linéaire de type Gated DeltaNet et 8 couches d'attention complète. L'« attention » est le mécanisme qui permet au modèle de relier entre eux les mots d'un texte. Le modèle est entièrement réentraîné (full fine-tune : tous ses poids sont modifiés). Chaque document est encodé une seule fois ; chaque question est un court segment qui consulte le document mais pas les autres questions, ce qui permet d'en poser une quarantaine d'un coup. Une « tête » de sortie produit un score par option, converti en probabilité. Les questions sont de trois types : choix (2 à 11 options), oui/non, et score ordonné. Elles sont écrites au moment de la requête, donc un nouveau critère ne demande pas de réentraînement.

Les données. Le corpus Klaros-12M compte 12 416 448 paires document-question issues de 3 643 798 patients de Mass General Brigham (24 sites hospitaliers, suivi médian de 12 ans, 7,47 millions de documents). Les étiquettes viennent de trois sources : des étiquettes « douces » (des probabilités) produites par un modèle enseignant, GLM-5.3-Flash (320 milliards de paramètres au total, 18 milliards actifs), pour 4,51 millions de paires sur notes et 2,46 millions sur rapports ; des étiquettes exactes calculées par règles à partir des données structurées (5,01 millions de paires de chronologie) ; et des issues réellement observées après le point de décision (433 000 paires de prévision). L'entraînement a duré 26,4 heures sur huit GPU NVIDIA B300, soit 211 heures-GPU. Aucune donnée publique ni d'autre institution n'a servi à l'entraînement.

L'évaluation. En interne, le banc MGBQA-1M porte sur 963 408 patients mis de côté de Mass General Brigham, avec la balanced accuracy comme métrique principale (moyenne de la sensibilité et de la spécificité, utile quand les classes sont déséquilibrées). En externe, 21 jeux de données publics servent à l'évaluation seule : MIMIC-IV, eICU-CRD, EHRSHOT, MedAgentBench, BRIE, TCGA, HISTAI, MIMIC-CXR-VQA, LongHealth, entre autres. Les comparateurs sont dix modèles ouverts de 0,6 à 27 milliards de paramètres, dont les Decision 2.0 de Kai-0.6B à Vega-27B.

Les résultats

Métriques ML. Sur la moyenne des six types de tâches internes, CS1-4B atteint 89,7, contre 73,3 pour son modèle de départ Nox-4B et 81,7 pour le meilleur modèle ouvert (Vega-27B). Il mène sur 13 tâches indépendantes sur 14 : chronologies 96,6 % contre 86,8 % pour JEV-27B, définitions cliniques 92,1 % contre 85,0 %, prévision d'issues 75,6 % contre 69,4 %, statut médicamenteux 95,0 % contre 82,6 %. Seule exception : le stade du cancer à partir de rapports (86,9 % pour pplx-decider contre 86,6 %).

En externe, la moyenne est de 86,7 contre 88,6 pour Vega-27B : CS1-4B approche le plus gros modèle sans l'égaler. Il le dépasse sur cinq jeux (par exemple EHRSHOT-Prognosis, AUC moyenne 0,766 contre 0,681 pour Clef), mais reste derrière de 7,4 à 12,8 points sur trois jeux de définitions cliniques et de 1,1 à 5,9 points sur neuf des onze jeux de notes et rapports. L'inférence est 6,4 fois plus rapide que Vega-27B (1,80 s contre 11,54 s pour 40 questions sur une note de 2 900 jetons).

Calibration. La calibration mesure si une probabilité annoncée correspond à la fréquence réelle (l'erreur de calibration attendue, ECE, vaut zéro dans le cas idéal). Elle est de 0,012 à 0,052 selon les types de tâches. Mais pour la prévision de 27 issues, le risque moyen prédit est de 0,39 pour un risque observé de 0,19 : sur 1 000 patients, le modèle annoncerait environ 390 événements là où environ 190 surviennent. Un simple décalage par issue ramène l'erreur de 0,203 à 0,014.

Traduction clinique : le criblage d'essais. Associé à un LLM généraliste qui ne lit jamais le dossier complet, CS1 a criblé 17 essais de ClinicalTrials.gov sur 1 000 patients de MIMIC-IV. Sur les critères structurés, la précision est de 0,884 contre 0,869 pour un LLM lisant tout. Sur les critères qui ne figurent que dans les notes, elle est de 0,766 contre 0,796, un écart de −0,030 dont l'intervalle de confiance exclut zéro. Pour classer les patients, le nDCG@20 (qualité du classement des 20 premiers) est de 0,64 contre 0,11 pour une recherche par mots-clés, avec 3,5 patients jugés éligibles parmi les 20 premiers contre 0,8. Le coût : 610 jetons de LLM par patient contre 421 136, soit 690 fois moins, hors calcul de CS1 lui-même.

Ce qui est bien

Une échelle et une séparation d'évaluation nettes. L'entraînement porte sur 3,6 millions de patients, l'évaluation interne sur 963 408 patients distincts, et les 21 jeux publics ne servent qu'à tester. Les auteurs rapportent aussi leurs défaites : stade du cancer, notes et rapports, définitions cliniques externes.

Une calibration mesurée et critiquée. Les auteurs publient l'ECE par type de tâche, puis reconnaissent la surestimation des risques en prévision et chiffrent l'effet d'une recalibration. Peu de papiers de modèles de langage cliniques font cet exercice.

Un chiffrage honnête du compromis coût-précision. L'écart de −0,030 sur les critères tirés des notes est donné avec son intervalle de confiance, à côté du gain d'un facteur 690 en jetons. Le lecteur peut arbitrer lui-même.

Ce qui est moins bien

Des étiquettes produites par d'autres modèles. Une partie des étiquettes d'entraînement vient d'un modèle enseignant, et plusieurs clés d'évaluation sont rédigées par des modèles (HISTAI par l'enseignant, BRIE par un LLM ouvert, ReXVQA par un pipeline de LLM, plus 14 tâches secondaires). Le modèle peut donc apprendre à reproduire les erreurs de son enseignant sans que le test les révèle. L'annotateur de raisonnement concorde avec les clés humaines à 94-98 % sur trois bancs, mais seulement 90,6 % sur les phénotypes MIMIC-III, sous la réponse majoritaire (92,5 %). Modes d'échec : fuite circulaire, métrique trompeuse.

Un seul système hospitalier, aucune validation prospective. Tout l'entraînement vient de Mass General Brigham, dont les pratiques de codage et de rédaction peuvent ne pas se transporter. Les jeux publics sont surtout des urgences et de la réanimation (MIMIC-IV), et des issues peuvent manquer quand les soins ont eu lieu ailleurs. Les auteurs écrivent eux-mêmes que le modèle n'est pas validé prospectivement et ne doit pas décider seul. Modes d'échec : biais de population, décalage de distribution.

Un criblage jugé par un LLM, un comparateur faible, une reproductibilité limitée. Les trois exemples de questions sur dossier entier sont jugés en aveugle par GLM-5.3. La cohérence entre deux passages du juge est de 0,84 (kappa pondéré), mais cela mesure la constance, pas l'accord avec des cliniciens. La comparaison à 0,11 de nDCG vient d'un baseline par mots-clés (BM25), un comparateur faible. Les poids ne seront publiés qu'après approbation institutionnelle, aucun code n'est annoncé, et le financement ainsi que les conflits d'intérêts ne figurent pas dans le texte consulté. Modes d'échec : comparateur biaisé, reproductibilité limitée.

Ce que ça change

Pour la communauté de recherche, le papier appuie une idée d'architecture : de petits modèles spécialisés pour la lecture répétée, de grands modèles pour la planification. Il fournit aussi une méthode d'évaluation à imiter : calibration par tâche, gain de coût chiffré, défaites documentées. La question ouverte est de savoir ce qui reste quand les étiquettes viennent d'humains.

Pour les cliniciens, rien ne change aujourd'hui : l'outil n'est ni validé en prospectif ni disponible, et il s'adresse d'abord aux équipes de données, de recherche clinique et de codage. À moyen terme, le criblage d'éligibilité pour les essais est la piste la plus concrète, avec une relecture humaine indispensable.

Pour les patients et le public, l'enjeu est indirect : des essais cliniques éventuellement recrutés plus vite si le criblage tient ses promesses. Il faut aussi retenir que des probabilités affichées par un modèle ne sont utilisables que si elles sont calibrées, et que celles de CS1 ne l'étaient pas pour la prévision sans correction.

Pour aller plus loin

Papier : A general-purpose System One decision model for clinical records, arXiv 2610.27099, DOI 10.48550/arXiv.2610.27099. Jeux de données publics utilisés en évaluation : MIMIC-IV, eICU-CRD, EHRSHOT, MedAgentBench, LongHealth. Poids : publication prévue sous accès accrédité.

Mention de transparence éditoriale : cette lecture a été produite avec l'aide d'outils d'IA à partir du texte de la préimpression ; les traductions sont automatiques.