对应论文

CardioState-JEPA: Delay-Aware Cross-Modal Learning of a Shared Cardiac Representation

视频简介

心脏信号(ECG、PPG、PCG)提供了同一心动周期的互补视角,但现有心脏基础模型往往仅针对单一模态,未利用跨传感器的共享生理信息。 本文提出CardioState-JEPA,一个基于生理感知的联合嵌入预测架构,将异质波形映射到共同token空间,通过共享Transformer编码器学习,并以预测掩码心脏状态为预训练目标;同时引入延迟对齐器处理电、机械、血流事件之间的时间偏移。 在25个下游任务上,冻结编码器相比最佳自监督信号基线,平均PPG分类AUROC提升8.2点,PCG杂音检测提升18.8点,ECG分类提升15.5点,并在若干ECG基准上达到或超过使用特权临床文本或监督标签训练的模型。 该方法展示了异质心脏信号可以相互监督一个统一的生理学基础模型,具有跨模态迁移价值;但尚未公布代码或大规模公共基准上的独立验证,且应用范围限于心脏信号。

外部视频链接

论文链接