多模态基础模型
颠覆级
有讲解视频
收录解读
计算病理学领域近年来得益于基础模型的发展,但这些模型大多仍局限于图像块编码,向全切片理解过渡中,其临床实用性仍然有限。本文提出PRISM2,一个多模态全切片级基础模型,旨在弥合组织形态学与临床诊断推理之间的鸿沟。
PRISM2模型在230万张全切片图像和1400万个问答对(源自70万份病理报告)上进行训练,通过临床对话监督将组织形态学与诊断推理对齐,从而既支持基于提示的推理,也支持面向下游任务的可迁移嵌入。
实验结果显示,在基于提示的推理中,PRISM2在前列腺、乳腺和乳腺淋巴结的癌症检测上达到或超越临床级产品的平衡准确率(P < 0.05);在诊断、生物标志物和生存预测等全面基准上,其嵌入在线性探针评估中从未显著劣于先前基础模型;在生存预测任务上进行针对性微调也优于从头训练的模型。
该工作表明,语言监督的预训练为可泛化的病理表征提供了可扩展且临床上可落地的监督信号,将人类诊断推理与基础模型性能相结合。但其影响目前主要局限于病理领域,尚未达到重塑整个AI研究方法论的范式级影响。