EEG 癫痫发作预测:当评估真正按患者分开时,五条流程的结果都接近随机水平(CHB-MIT)
奥克兰理工大学(Auckland University of Technology)的团队保持五条已发表的脑电(EEG)癫痫发作预测流程不变,只改变一件事:在儿科数据集 CHB-MIT 上如何评估它们。一旦测试患者真正没有出现在训练集中,五条流程的 AUC 都落到 0.5 左右,也就是随机水平,与架构无关。结论不是“人工智能在这里永远行不通”,而是文献中的高性能首先取决于评估协议;这是一篇探索性的、尚未经同行评审的预印本,应当如此解读。
背景
约三分之一的癫痫患者在接受治疗后仍有发作。对他们来说,若系统能提前几分钟预警,日常生活将大为改变:可以停止驾驶、躺下,或触发刺激装置、使用急救药物。因此出现了大量基于脑电图(EEG,通过头皮电极记录大脑电活动)的“发作预测”文献,报告的性能常常超过 90%。
这个问题由来已久,而且属于方法学问题。EEG 是高度自相关的时间序列:相邻的两个 20 秒窗口非常相似。如果把一段记录切成窗口,再随机分配到训练集和测试集,模型在测试时“认出”的就是与训练时几乎相同的窗口。这就是数据泄漏(data leakage):测试信息渗入了学习过程。本研究在现有流程上衡量:堵住这些漏洞后,已发表的性能还剩多少。
方法
任务是对 20 秒 EEG 窗口做二分类:“发作前期”(preictal,发作开始前 5 至 30 分钟)对“发作间期”(interictal,远离任何发作)。发作本身、发作开始前最后 5 分钟以及发作结束后 4 小时均被排除。因此这不是连续报警系统,而是回顾性的逐窗口分类测试。
主要数据来自 CHB-MIT,这是 PhysioNet 上的公开数据集,记录了在波士顿随访的儿童:22 名参与者的 182 次已标注发作,采样率 256 Hz,滤波 0.5 至 40 Hz,18 个双极导联。属于同一个人的两个编号被合并,患者 chb24 因没有发作间期窗口被剔除,最终数据集共 17,424 个窗口;发作前期窗口仅来自 182 次发作中的 69 次。第二个数据集 Siena Scalp EEG(13 名参与者,5,657 个窗口)用作外部对照。
比较了五条流程,且未做架构搜索:PSD+LDA(90 个频带功率特征加线性判别分析,一种经典线性分类器)、EEGNet(7,002 个参数)、时序卷积网络 TCN(245,122)、一维 CNN(520,322),以及混合卷积与注意力机制的 EEG-Conformer(852,746)。
工作的核心是评估设计。在“冷启动”(cold-start)场景中,20 次随机划分把 14 个受试者组分给训练、4 个给验证、4 个给测试:测试患者全都没见过。另有三项对照:(1)在 11 名患者中,比较随机窗口分配与按时间顺序的发作块;(2)对旧的按索引划分在 10 个病例上做审计;(3)阈值迁移测试:在验证集上设定决策阈值,使其只标记 1/60 的发作间期窗口,然后原封不动地用于测试受试者。
结果
先看机器学习指标。AUC(ROC 曲线下面积)为 0.5 表示不比抛硬币好,为 1 表示完美。冷启动下,20 次划分的平均汇总 AUC 为:PSD+LDA 0.527 ± 0.070,EEGNet 0.534,TCN 0.553,一维 CNN 0.541,EEG-Conformer 0.527。若按每名受试者等权重计算,则在 0.502 至 0.523 之间,标准差为 0.09 至 0.13:不确定性大于各架构之间的差异。
在 PSD+LDA 的患者内比较中,AUC 从随机窗口分配的 0.815 ± 0.089 降到按时间顺序分块的 0.572 ± 0.171,平均下降 0.243(因患者而异,0.024 至 0.601)。按索引划分的审计显示,在全部 10 个符合条件的病例中都有原始样本越过训练与测试的边界(共 16 对重叠窗口),AUC 差异为 0.139 至 0.373。在 Siena 上,未经重新训练的 PSD+LDA 得到 0.480 ± 0.022。
阈值迁移同样失败:目标是 1/60(约 1.67%)的误检率,实际观测值为 1.81% 至 3.13%,每条流程在 20 次划分中有 6 至 10 次超过目标。该阈值下的灵敏度只有 2.33% 至 5.56%。
临床换算。采用验证集得到的 Youden 阈值(平衡灵敏度与特异度),EEGNet 检出 40.7% 的发作前期窗口,正确排除 64.9% 的发作间期窗口。每 1,000 个发作前期窗口约漏掉 593 个;每 1,000 个发作间期窗口约有 351 次误报。如果 20 秒窗口首尾相接、没有重叠,即每小时 180 个窗口,那么 1.67% 的假阳性率相当于每小时约三次误报,3.13% 则接近六次,而检出的发作前期窗口不到 6%。这一计算是我们根据论文数据得出的,并假设窗口连续;具有这种特征的可穿戴设备是无法被接受的。
做得好的地方
第一,协议只隔离一个变量。架构、特征和超参数都固定,只改变评估方案。这使得“评估设计比模型选择更重要”的结论成立,而不是去比较同时在十个方面不同的论文。
第二,审计很具体。作者不只是说泄漏有可能发生:他们在 10 个核查病例中数出 16 对跨越训练与测试边界的重叠窗口,并测量由此造成的 AUC 差距(0.139 至 0.373)。他们还通过合并 chb01 与 chb21 两个编号,处理了“同一患者被重复计数”的陷阱。
第三,透明度:代码在 GitHub 上并审计到具体提交(845e973),提供划分清单和源数据表,数据集公开于 PhysioNet,经费仅来自大学,且未声明利益冲突。还增加了第二个数据集(Siena)的对照,尽管有限。
不足之处
第一,数据集小且为儿科:22 个受试者组,182 次发作中只有 69 次提供可用的发作前期窗口,也未做性别或年龄分析。这是人群偏倚这一失效模式:无法确定结果是否适用于成人、其他类型的癫痫或其他采集系统。20 次重复划分共用同一批受试者,限制了向更广泛人群的推断。
第二,指标和任务并不是真实使用场景。论文评估的是孤立窗口,而不是带有预警时间、不应期和每日误报次数的连续报警,而这些才是患者实际会感受到的量(指标在构造上具有误导性)。因此它无法说明更精细的策略,例如针对个体定制的方法,是否会做得更好。
第三,时间顺序分析和阈值分析是在初始分析之后补充的,作者自己称之为探索性;滤波是非因果的(使用了未来样本,实时场景中不可能);Siena 对照只覆盖了一个模型 PSD+LDA,没有深度模型。五条流程是未经架构搜索的重新实现:在未优化版本上得到的阴性结果,并不能证明没有任何优化版本能成功。最后,这是未经同行评审的预印本,没有前瞻性验证,也没有监管状态。
意义
对研究界而言,这篇论文呼吁建立评估规范:训练与测试之间按患者分开,合并同一个人的多个编号,遵守发作的时间顺序,用独立数据设定阈值,并报告每小时的误报次数。它也提示我们,阅读文献数字时应先检查划分方案。它本身并不能证明之前的每篇论文都被扭曲,只说明这种风险是可测量的,而且很大。
对临床医生而言,目前实践中没有任何变化,而这正是有用的信息:任何宣称性能惊人的头皮 EEG 发作预测系统,在没有对从未见过的患者做连续时间验证之前,都不应被认真对待。对患者和公众而言,这并不意味着预测不可能,而是说用这些方法实现可靠预警的承诺目前仍未得到证实。
延伸阅读
预印本:Song Z., Pedersen M., Henare D.,“Same pipelines, different answers: how evaluation design shapes EEG seizure prediction”,medRxiv,2026 年 10 月 29 日,doi:10.64898/2026.10.28.26366763。代码:github.com/TsikonSong/EEG-Seizure-Prediction。数据:PhysioNet 上的 CHB-MIT 与 Siena Scalp EEG。
本篇解读在 AI 协助下依据预印本全文撰写,并经过编辑审阅;由论文数据推算的临床数值已如实标注。