前沿分享 | Inter-MIL框架开启病理图像分析的新视角

02月25日

来源：智能肿瘤学

近期，牛津大学Jens Rittscher教授团队提出了Inter-MIL框架，该模型通过多尺度特征融合与迭代优化，从全切片图像（WSI）中预测癌症分子亚型。该方法在多种癌症的分子分类任务中表现出色，尤其在小数据集场景下优势明显，同时增强了模型可解释性，为计算病理学的精准诊断提供了新工具。

研究背景

在计算病理学领域，从组织形态学图像中预测疾病相关的分子特征对于精准医疗具有重要意义。然而，从标准的全切片图像（WSI）中提取细粒度的分子特征并非易事，因为这些图像包含海量像素，且缺乏用于亚型分类和上下文组织形态学特征的注释。此外，不同分子亚型在苏木精和伊红（HE）染色切片上可能表现出视觉上相似的表型，这使得分子亚型的区分比其他组织病理学分类任务更具挑战性。因此，开发能够从WSIs中直接预测分子特征的计算方法具有重要的临床价值。

研究方法

本文提出了一种名为 Inter-MIL 的新型弱监督多实例学习（MIL）框架，用于基于WSIs的癌症形态分子亚型分类。该框架通过融合不同尺度的特征来实现这一目标，主要贡献包括（本研究贡献总结见图1）：

提出Inter-MIL框架：通过局部和大尺度特征之间的交互优化，提高了MIL在小规模组织病理学数据集上的学习效率。该框架引入了针对tile级编码器和slide级聚合器的优化步骤，以提取更具任务相关性的特征。
代表性特征搜索： Inter-MIL从多尺度中搜索分子亚型的代表性特征，既能识别细胞病理学特征，又能改善对粗粒度特征的搜索。
特征空间重塑：Inter-MIL通过重塑tile级特征空间，使不同分子亚型的视觉特征更具区分性，从而降低新样本亚型分类的难度。
多任务验证：作者在4种不同的分子亚型分类任务中验证了Inter-MIL的性能，包括卵巢癌的上皮-间充质转化（EMT）状态预测、结肠癌和肺癌的KRAS突变状态预测、肺癌的EGFR突变状态预测以及乳腺癌的HER2扩增状态预测。

图1 本研究贡献总结

研究技术路线

数据集

实验使用了来自TCGA数据库的4种癌症类型的WSIs，包括卵巢癌（OV-EMT）、结肠癌（COLU-KRAS）、肺癌（LU-EGFR）和乳腺癌（BR-HER2）。此外，还使用了FOCUS临床试验中的结直肠癌WSIs作为外部验证队列。所有数据集均经过严格的质量控制，以确保HE染色切片与RNA测序结果之间的匹配度。

预处理

WSIs的预处理包括去除背景、去除染色污染区域以及去除笔迹标记等。随后，将WSIs划分为256×256的小块（tiles），并筛选出组织比例大于70%的有效tiles用于后续分析。

模型架构

Inter-MIL框架包含两个主要模块：1)实例-袋聚合器（Aggregator）：基于门控注意力池化网络（Gated-AttPool），负责将tile级特征聚合为slide级特征，并输出分类结果。2)可训练的tile级特征编码器：通过伪标签传播策略进行优化，以捕捉tile和slide级标签之间的交互，并提取更具区分性的亚型特征。

此外，作者还设计了一个对比学习模块，用于预训练聚合器，以提高其对tile级特征袋的识别能力。

优化策略

Inter-MIL的优化过程包括以下步骤：1)代表性tile选择：根据注意力分数对tiles进行排序，选择高注意力tiles作为训练材料，以优化tile级特征编码器。2)对抗性优化：对于低注意力tiles，采用对抗性优化策略，训练模型将其分类为噪声，从而减少噪声干扰。3)迭代优化：通过交替优化tile级编码器和slide级聚合器，逐步提高模型的性能。

图2 Inter-MIL流程图

主要发现与结论

性能评估

Inter-MIL在所有四种分子亚型分类任务中均表现出色，与现有的MIL方法相比，平均AUC提高了至少6%，平衡准确率（BACC）也显著提升。例如，在OV-EMT任务中，Inter-MIL的AUC达到71.91%，BACC达到84.86%；在COLU-KRAS任务中，AUC为64.78%，BACC为64.50%。这些结果表明Inter-MIL在小数据集场景下具有显著的性能优势。

外部验证

在FOCUS队列的外部验证中，Inter-MIL的性能表现出良好的泛化能力。与内部验证结果相比，其AUC仅下降约3%，而其他基线方法的性能下降幅度可达10%。这表明Inter-MIL能够有效应对不同数据集之间的预分析差异。

模型可解释性

Inter-MIL提供了从细粒度tile级特征到全局组织形态特征的多尺度可解释性。通过梯度加权类别激活映射（Grad-CAM）工具，作者展示了模型在优化过程中对细胞核等关键区域的关注度逐渐增加，同时在全局水平上，模型的注意力也从非肿瘤区域转移到肿瘤区域。此外，通过t-SNE可视化，Inter-MIL学到的tile级特征在不同亚型之间具有更好的区分性，这进一步证明了其在特征学习方面的优势。

结论

本文提出的Inter-MIL框架为计算病理学中的分子特征预测提供了一种新的解决方案。它通过多尺度特征融合和迭代优化，显著提高了模型在小数据集上的性能，并增强了模型的可解释性。该方法不仅适用于癌症亚型分类，还具有扩展到其他病理学任务（如肿瘤分类、预后预测和治疗反应预测）的潜力。此外，Inter-MIL的设计允许其与不同的深度学习架构（如图神经网络和视觉变换器）集成，为未来的研究提供了广阔的应用前景。

参考文献

Hu, Y., Sirinukunwattana, K., Li, B., Gaitskell, K., Domingo, E., Bonnaffé, W., Wojciechowska, M., Wood, R., Alham, N. K., Malacrino, S., Woodcock, D. J., Verrill, C., Ahmed, A., & Rittscher, J. (2025). Self-interactive learning: Fusion and evolution of multi-scale histomorphology features for molecular traits prediction in computational pathology. Medical image analysis, 101, 103437. Advance online publication. https://doi.org/10.1016/j.media.2024.103437

https://www.sciencedirect.com/science/article/pii/S1361841524003621?via%3Dihub

责任编辑：肿瘤资讯-DLF
排版编辑：肿瘤资讯-Z Y

本文仅供专业人士参看，文中内容仅代表智能肿瘤学立场与观点，不代表肿瘤资讯平台意见，且肿瘤资讯并不承担任何连带责任。若有任何侵权问题，请联系删除。