EEG clinique : un modèle vision-langage généraliste qui « regarde » le tracé rivalise-t-il avec les modèles de fondation EEG ? Oui sur certaines tâches, pas sur toutes
Une équipe du Massachusetts General Hospital, de Harvard et de Binghamton University demande si un modèle vision-langage généraliste, jamais pré-entraîné sur de l'EEG, peut lire un électroencéphalogramme rendu sous forme d'image, comme le ferait un neurologue. Sur trois jeux de données publics, Qwen3-VL-4B affiné fait jeu égal avec les modèles de fondation EEG sur la détection d'anomalies et la détection de pointes épileptiformes, mais pas sur la classification à six classes de TUEV dans le découpage officiel, et la validation reste rétrospective. Le résultat est utile pour la recherche, pas encore pour la clinique.
Le contexte
L'EEG enregistre l'activité électrique du cerveau par des électrodes posées sur le cuir chevelu. Il sert à repérer des anomalies, des crises d'épilepsie ou des décharges intercritiques (IED, pointes épileptiformes entre deux crises). Sa lecture est longue et demande un expert. Les modèles de fondation EEG (LaBraM, CBraMod, BIOT, EEGPT, etc.) sont des réseaux pré-entraînés sur de grandes quantités d'enregistrements non annotés, puis adaptés à une tâche précise : un foundation model est un modèle généraliste réutilisable après un entraînement initial coûteux.
Le problème est que les corpus d'EEG sont bien plus petits que ceux des images ou du texte. L'idée testée ici est de contourner ce manque : un vision-language model (VLM), qui traite à la fois des images et du texte, a déjà vu des milliards d'images. Si l'on dessine l'EEG comme le fait le clinicien, en tracés superposés, un VLM pourrait en tirer parti sans pré-entraînement EEG.
La méthode
Le signal est converti en microvolts, rééchantillonné (200 à 250 Hz selon le jeu), découpé en fenêtres et organisé en montage bipolaire longitudinal, la disposition standard de lecture clinique (18 dérivations pour 19 électrodes, 16 pour TUEV). La représentation par défaut associe les tracés (montage) à un spectrogramme, image de la puissance du signal par fréquence au fil du temps. Chaque image est accompagnée d'un texte fixe listant les étiquettes possibles. Le modèle principal est Qwen3-VL-4B (4 milliards de paramètres) ; d'autres tailles (2B, 8B, 32B), InternVL3-8B, Phi-3.5 Vision et Llama 3.2 Vision servent de comparaison.
L'adaptation se fait par LoRA (low-rank adaptation, qui n'entraîne qu'un petit ensemble de poids ajoutés au modèle) ou en « tête seule » (head-only : on ne réentraîne que la dernière couche de classification). Trois tâches principales : TUAB (EEG normal ou anormal, 1 660 sujets à l'entraînement dans le découpage officiel), TUEV (événements EEG à six classes, 232 sujets à l'entraînement) et vEpiSet (détection de pointes épileptiformes, 67 sujets à l'entraînement). Trois jeux supplémentaires, SPaRCNet, SpikeNet2 et SeizeIT2, servent aux tests few-shot, c'est-à-dire avec quelques exemples seulement (128 ou 384 fenêtres). La métrique principale est la balanced accuracy, moyenne des taux de bonne classification de chaque classe : le hasard donne 0,50 à deux classes et environ 0,17 à six. Les comparateurs sont des modèles spécialisés (EEGNet, EEG-Conformer, etc.), des modèles de fondation EEG et des chiffres de la littérature.
Les résultats
En métriques ML : sur TUAB, Qwen3-VL-4B en LoRA atteint 0,805 de balanced accuracy (AUROC 0,877), contre 0,795 pour BIOT, 0,828 pour CBraMod et 0,831 pour Reve ; les auteurs jugent la tâche « saturée ». Sur vEpiSet, il obtient 0,835 (AUROC 0,906), contre 0,763 pour le meilleur modèle EEG cité, BIOT. Sur TUEV, le tableau est plus nuancé : 0,601 avec le découpage canonique, sous CBraMod (0,667), Reve (0,676) et CS-Brain (0,690) ; avec le découpage « EEG-Bench », les VLM 8B et 32B montent à 0,750 et 0,746, au niveau de Reve (0,739). La taille compte : sur TUEV canonique, la balanced accuracy passe de 0,573 (2B) à 0,653 (32B). En zero-shot, sans exemple, le VLM reste près du hasard sur TUEV (0,169 en base, 0,275 pour le 32B).
En few-shot, avec 64 exemples au total sur TUAB, le VLM de base obtient 0,648 contre 0,657 pour EEGPT. Plus parlant : un VLM d'abord adapté à une tâche voisine gagne en transfert (SPaRCNet : de 0,217 à 0,350 ; SeizeIT2 : de 0,607 à 0,707), alors que LaBraM et CBraMod perdent du terrain dans les mêmes conditions. Le choix de l'image compte aussi : sur SpikeNet2, un format allongé (1800×256) passe de 0,545 à 0,626.
Traduction clinique, à titre d'ordre de grandeur : une balanced accuracy de 0,805 sur TUAB signifie qu'en moyenne 19,5 % des fenêtres de chaque classe sont mal classées. Sur 1 000 fenêtres normales et 1 000 anormales, cela représente environ 390 erreurs, si elles se répartissent également ; le papier tel que je l'ai lu ne donne pas la répartition entre faux positifs et faux négatifs au seuil retenu. Sur TUEV canonique, 0,601 à six classes laisse près de quatre événements sur dix mal étiquetés en moyenne par classe. Ces chiffres décrivent des fenêtres isolées d'un corpus, pas un patient.
Ce qui est bien
Premièrement, l'étendue de la comparaison : cinq familles de VLM et quatre tailles de Qwen, une quinzaine de modèles spécialisés, cinq modèles de fondation EEG, deux découpages de TUAB et de TUEV, et des écarts-types sur les tests few-shot. Montrer que le résultat dépend du découpage (TUEV : 0,601 contre 0,715 pour le 4B) est une honnêteté utile.
Deuxièmement, des ablations précises sur la représentation visuelle : montage seul, spectrogramme, scalogramme (transformée en ondelettes), combinaisons, résolution. On apprend ce qui compte : par exemple, ajouter le scalogramme au montage fait passer le κ de TUEV de 0,597 à 0,688 en tête seule.
Troisièmement, la transparence sur le cadre : financement NIH (UG3NS143749), aucun conflit déclaré, jeux de données publics ou en accès contrôlé et décrits un à un, et limites écrites dans le texte (tâches visuelles seulement, coût de calcul d'un modèle bien plus gros qu'un encodeur EEG, sensibilité aux hyperparamètres des modèles de fondation).
Ce qui est moins bien
Premièrement, un risque de fuite de données (data leakage) non écarté dans le texte : le papier donne les nombres de sujets par partition mais, à ma lecture, ne confirme pas que les partitions soient disjointes par sujet. Or sur l'EEG, des fenêtres d'un même patient dans l'entraînement et le test gonflent les scores. Le tableau des jeux de données contient aussi une incohérence (15 s dans le tableau, 10 s dans le texte pour TUAB « EEG-FM »).
Deuxièmement, un biais de population et de portée : TUAB et TUEV viennent de la même base hospitalière américaine (Temple University), vEpiSet ne compte que 9 sujets de test, et aucune validation externe prospective n'est rapportée. La détection de pointes sur 9 sujets ne dit pas comment le modèle se comporte dans un autre service, avec un autre amplificateur. S'ajoute un comparateur variable : les chiffres des modèles concurrents viennent en partie de la littérature, avec des protocoles d'entraînement qui peuvent différer, et sur TUEV les modèles de fondation gardent l'avantage dans le découpage canonique.
Troisièmement, une métrique qui cache l'usage : la balanced accuracy est moyennée sur les classes et ne dit rien de la sensibilité à un seuil d'alerte réaliste pour des crises rares, ni du nombre de fausses alarmes par heure d'enregistrement. Le papier ne publie pas non plus, à ma connaissance, son code ni ses poids affinés, et n'indique aucune licence : le résultat est difficile à reproduire.
Ce que ça change
Pour la communauté de recherche : un argument sérieux que le pré-entraînement généraliste peut suffire sur des tâches « visuelles », avec un avantage en transfert entre tâches voisines. Reste à voir si l'écart tient avec des modèles de fondation EEG plus récents et des protocoles identiques.
Pour les cliniciens : rien ne change dans la pratique aujourd'hui. Un modèle de 4 à 32 milliards de paramètres est lourd pour du temps réel en service, et aucune étude prospective ni réglementaire (marquage CE, FDA) n'est mentionnée. À moyen terme, des outils d'aide à la lecture d'EEG plus faciles à adapter à un nouvel hôpital sont envisageables.
Pour les patients et le grand public : l'IA pourrait aider à trier des enregistrements longs et à réduire l'attente d'une lecture experte, mais ce travail porte sur des corpus de recherche, pas sur des décisions de soin.
Pour aller plus loin
Papier : arXiv 2611.05538 (DOI 10.48550/arXiv.2611.05538), Zhou, Sergeeva, Bi, Song, Yin, Deng. Données : TUAB et TUEV (Temple University, accès contrôlé), vEpiSet (accès ouvert), SPaRCNet et SpikeNet2 (BDSP, accès contrôlé), SeizeIT2 (OpenNeuro ds005873, CC0). Modèles de base : famille Qwen3-VL.
Mention de transparence éditoriale : cet article a été produit par la chaîne éditoriale automatisée de Tatakoto à partir du PDF du preprint ; les annexes (notamment les détails de cohorte) n'ont pas été relues. Les versions anglaise, espagnole et chinoise sont générées par IA. Une erreur ? Contactez-nous.