在过去十年中，计算能力和内存的急剧增长，使得图像识别和医学影像处理的人工智能（AI）技术得以发展和实现。 目前，这一领域研究和应用的热情日益高涨，尤其是在 肿瘤成像中。 随着海量图像数据和多种AI模型的开发，AI进行疾病诊断的准确率越来越高，同时在解决 临床问题中面临很多挑战（ 图像标准化等）。
美国凯斯西储大学Anant Madabhushi教授团队在国际知名期刊Nat Rev Clin Oncol（IF=65分）在线发表综述，我们通过这篇文章一窥人工智能影像学研究的方法、进展和前景。
人工智能在影像学中的应用和发展
自 20世纪60年代，计算方法已被用于影像学，但早期研究受限于模拟图像采集和有限的计算资源。 在 20世纪80年代 ，数字成像方法的出现以及计算体系的改进重新引起了人们对 计算机辅助检测（CAD） 技术的兴趣。人工智能在乳腺癌检测中初步成功，开启了在肿瘤分类和癌症检测中的应用。 过去十年中 ，基于人工智能的诊断工具得到了不断的改进， 他们的诊断能力已经被证明与人类专家相当（甚至超过） 。这一成功使得人工智能方法不断得到开发以帮助解决更复杂的决策任务，如疾病预测、治疗反应预测以及发现预后相关表型和基因型特征的影像学表现。
我们特别关注 基于人工智能的影像学生物标记物，能够非侵入性的预测疾病结果和治疗反应。目标是提供对患者个性化管理，而临床医生需要做的是掌握工具。在此， 首先定义了人工智能成像生物标记物及其用途，与肿瘤学现有生物标记物的对比，以及鉴定成像生物标记物的总体框架，常用方法的技术基础。本文描述了复杂决策中常见的人工智能工具，如何用于常见癌症类型的示例。最后，总结了人工智能在临床使用中的一些挑战和障碍，并讨论了未来在肿瘤实践中的影响。
1. 肿瘤中的生物标记物
从肿瘤组织基因组测序获得生物标记物（具有侵入性）
肿瘤生物标记物可分为几类：从预防（癌症易感性或风险）到指导临床决策，其中 预后和预测性生物标记物是最具临床相关性的。 预后生物标志物传达与疾病风险相关的信息。 临床医生能够诊断预后良好和预后不良的患者，对不同病人进行分级治疗，选择特定药物和治疗方式。
目前在肿瘤学中使用的大多数预后生物标记物是 依赖于复杂多基因特征的分子分析，常见于指南 （NCCN）和临床实践，然而这需要通过侵入性方法获得肿瘤组织，因此限制了它们的适用性和可监测性。 在肿瘤学中， 如果生物标志物阳性与阴性患者的治疗效果存在统计学差异，则认为生物标志物具有预测性 。例如，在乳腺，胃和食管等癌症中， HER2 状态可作为预测HER2靶向治疗（如曲妥珠单抗和培妥单抗）有效性的生物标志物。在非小细胞肺癌（NSCLC）中， EGFR外显子 突变的存在可作为EGFR酪氨酸激酶抑制剂（如奥西米替尼或厄洛替尼）治疗的生物标志物。除了预后，肿瘤型DX也是一种预测性生物标记物，以确定早期乳腺癌妇女化疗的益处。
基于AI成像的癌症生物标记物 （非侵入性方法）
人工智能驱动的计算机视觉和模式识别技术的快速发展促进了 人工智能成像生物标志物的出现，从影像图像中提取识别性定量表征，捕获与临床结果相关的肿瘤表型特性。 放射学中有两类主要的AI生物标记物：a. 基于人工获得的影像学特征 和b. 基于深度学习方法获得的深度影像组学特征 （表1）。
a. Radiomics AI: 人工智能开发团队（包括计算机科学家、放射科医生和肿瘤学家）通过人工手动提取获得的影像组学预定义了一组表征， 这些表征由特定的算法推导的特征组成。将这些特征表示输入机器学习（ML）模型，该模型反过来用以预测结果。 一些常用的影像组学方法主要关注肿瘤内部区域的各种属性（ 如形状或纹理 ）以及肿瘤微环境TME（如纹理或肿瘤脉管系统）（表2）。可公开获得的影像组学特征提取工具使研究人员能够应用这些工具获得影像组学特征，而无需自行开发这些工具。
b. Deep Learning AI: 在DL（深度学习）方法中，开发团队定义了一个DL神经网络，该网络可以使用大型数据集进行训练，以发现新的表示形式，这些表示形式可以合成以预测特定的结果。这些方法具有各自的优势和劣势，因此需根据不同的情况采用不同的方法（图1）。
图1. 影像组学中人工智能生物标志物流程图
基于影像组学和深度学习开发AI影像学的生物标记物的典型方案及其临床应用。这两种方法都可以应用于癌症预后预测和生物标记物发现，评估对治疗、预测和放射基因组学的反应。
基于人工智能的成像生物标记物具有某些优势。图像一般是通过常规临床放射学扫描进行评估的，非侵入性、快速分析、易于获得，并且与现有的临床工作流程完全兼容的，类似于基于AI的病理学生物标记物，具有非侵入性的优势。此外，它们还能在3D水平描述肿瘤的特征，避免异质性肿瘤活检样本可能出现的采样错误，并能够检测TME的变化。
图像相对于分子检测具有很大的优势， 能够反映肿瘤基因型的人工智能生物标记物已经被研究出来，这种方法被称为放射基因组学。 预测肿瘤突变状态的放射基因组学方法可能成为替代已建立的分子生物标记物的非侵入性生物标记物，并可应用于常规成像。这种方法类似于循环肿瘤DNA液体活组织检查方法，被开发为癌症监测的微创工具。这种测试也可以用于连续检测治疗开始后肿瘤主要基因型的变化，这是导致对靶向治疗产生耐药性的原因，并且这不能通过侵入性分子测试进行准确监测。然而，目前，放射基因组学方法有一些局限性，包括包含图像的综合数据集，基因组学和临床信息的整合以及仅限于回顾性研究，因此目前它们仅限于用于理论研究背景。事实上，在临床应用之前，这些技术需要进一步优化和前瞻性验证。
2.基于人工智能的生物标志物的框架
目前有两种主要的人工智能方法用于开发影像学中的人工智能生物标记物：影像组学和深度学习（表1）。这些方法可以单独使用也可以结合使用。
2.1基于人工的影像组学模型
几个影像组学模型已被证明可实现有效的结果预测（图2,表2），这些表示可以转化为预后或预测模型，通常使用一组特征对ML模型进行训练。这一过程中常见的 第一步是特征选择，通过算法将大量特征缩小到最适合特定任务的较小特征子集。特征选择可以用来优化预测性能、降低特征集内的相关性或实现最大化鲁棒性和稳定性。然后将这种简化的特征表示输入统计ML模型（例如，随机森林分类器）以预测临床结果。
图2，肿瘤中常用的影像组学特征类型示例
a, CT检测肝转移病灶的 灰度共生矩阵熵; b,在钆增强T1加权MRI上发现的胶质母细胞瘤的 形状； c,使用对比增强MRI测量乳腺组织中对比增强随时间变化的动力学； d，瘤周影像组学测量非小细胞癌周围肺间质的 结构异质性； e,对比增强MRI检测乳腺血管系统和肿瘤相关 血管网络的形态; f 2-脱氧-2-18F-氟-d-葡萄糖PET-CT扫描的标准化摄取值增强，显示头颈癌的 代谢活动增强。
基于强度的特征： 例如，CT扫描的衰减值直接对应于组织密度，可用于开发预后生物标志物或肿瘤表型。2-脱氧-218F-氟-d-葡萄糖（FDG）-PET扫描基于代谢放射性示踪剂的正电子发射定量肿瘤代谢活性，可预测癌症类型和患者治疗的预后。体素强度在肿瘤或其他感兴趣区域的分布可以通过更广泛的统计度量（如标准偏差）进一步表征，通常称为一阶统计。
异质性和纹理特征： 肿瘤的异质性可以通过使用纹理异质性特征的影像学成像来量化， 包括确定感兴趣区域内图像体素强度之间的空间关系。统计学方法，如标准偏差，可以提供成像信号可变性，在感兴趣区域使用。纹理特征将体素与其周围环境之间的关系量化为距离和强度的函数，可能更适合在成像时检测组织结构的异质性。
形状和体积特征： 在治疗过程中测量肿瘤大小是肿瘤学的标准方法，通常使用实体瘤的疗效评估标准（RECIST）进行评估，用来评价纵向成像的患者反应。 影像组学的形状特征是指表征感兴趣组织形状的任何特征，能够对肿瘤的三维形状和生长进行更复杂的分析， 其再现性高于放射学图像的临床评估。 更复杂的形态学测量，如表面体积比和分形维数， 提供了肿瘤形状和生长畸变的详细特征，通常与不良预后相关。
瘤周和肿瘤微环境（TME）的影像组学： 探索在肿瘤以外的影像组学特征，以表征周围肿瘤微环境。TME影像组学方法通常涉及其他影像组学特征来表征信号特性，如非肿瘤间质内的异质性。 瘤周影像组学，提取肿瘤周围组织半径范围内的纹理和统计学特征，已被证明在许多治疗背景下具有预测和预后价值。 肿瘤周围区域的分析增加了放射特征对肿瘤内影像组学特征的预测能力。
肿瘤血管影像组学： 基于形状的影像组学分析也可用于量化肿瘤相关血管系统的结构异常和肿瘤血管生成的影响。 血管迂曲是测量肿瘤相关血管系统异常的一类形状特征， 预测乳腺癌或恶性胶质瘤患者对化疗的反应以及乳腺癌脑转移患者对靶向药物的反应。血管迂曲度的测量也被证明能够识别免疫检查点抑制剂（ICIs）后可能出现超进展的NSCLC患者， 这种非典型特点是ICIs后肿瘤生长异常加速，需要立即停止治疗。
2.2 深度学习人工智能模型
DL方法基于深度神经网络进行模式识别，模式识别通常包括一系列可训练的非线性操作（称为层），每个层将输入数据转换为便于模式识别的表示。随着多层对输入数据应用转换，这些数据抽象为深层特征表示。 由此产生的深层特征最终可以由网络的最后一层转化为所需的输出，例如治疗结果或分子亚型。 我们简要介绍了基于预测的AI影像学中最常见的应用，并对DL的类型、常用框架、解决数据局限性的方法进行了更详细的补充讨论。
用于预测的卷积神经网络（CNN）： 大多数基于DL的生物标记物应用都使用卷积神经网络从成像数据得出预测（图3a）。 卷积神经网络是神经网络的一种特殊形式，用于学习图像的空间特征和疾病诊断 。CNN被证明能够学习指示恶性肿瘤的图像特征， 基于CNN的模型在诊断胸片和CT以及数字乳房X光摄影方面甚至超过了专业的人类专家。 它们还可以根据与预后、风险和分子特征相关的肿瘤性质的细微差异对患者进行分型（图3a），当使用患者结果数据进行训练时，CNN的卷积层可以学会识别反映预后的新成像表型。 CNN可以应用于2D或3D输入，并且可以使用多个输入，以便从图像类型的组合中学习，例如多参数或动态MRI扫描。
用于放射学的其他神经网络： 全卷积神经网络（FCNs）（图3b）是一种用于图像输出的卷积神经网络。 FCN可用于绘制图像中肿瘤的边界，以便进行影像组学分析（称为分割）或在数据受到限制的情况下进行无监督的特征学习。同样，完全连接的网络（图3c）是没有卷积层的神经网络，可以根据各种测量结果如放射特征）进行预测。其他种类的神经网络可与CNN结合，以处理随时间收集的多组数据，从而实现成像数据的纵向分析（例如响应评估）。
深度学习模型的训练
神经网络通过训练数据集的子集（batch）进行迭代更新来训练深度学习模型。对于每个批次，神经网络首先根据成像数据生成患者结果的预测。然后通过损失函数将这些预测与相应的实际治疗结果进行比较， 损失函数是一个衡量网络输出误差性的方程。然后，使用从损失函数获得的值来更新网络层（图1），从而找到使得网络模型表现最差的样本。第二组患者数据（调整数据集）用于监测性能，同时在将模型应用于独立数据集（测试或验证数据集）之前，对模型的配置和学习过程进行训练和优化。
通常，训练神经网络需要的数据量远远大于训练影像组学模型所需的数据量。所有机器学习模型都由一组参数定义，这些参数是指定算法所有可能配置的变量。增加模型中的参数数量可以扩大它可以发现的可能解决方案的范围，但是与简单的模型相比，有效学习所需的数据量也会更大。 最先进的CNN架构包含数百万个参数，以便直接从原始数据中发现新的预后表示。相比之下，影像组学将预测问题限制在有限的预先指定的特征中，这些特征组合在一个参数较少的统计模型中（通常是几十到几百个）。
图3，常用于医学成像数据的神经网络的构造块和类型
A、 用于预测的卷积神经网络（CNN）模型示例。经过卷积层和池化层处理后，深度特征表示最终被展平为向量，将这些CNN衍生的图像特征转换为对应于目标输出的向量。 这些模型可用于预测治疗反应、预测、肿瘤亚型和生物标志物的分类以及生理值的预测。 B、 全卷积神经网络是一种CNN类型，只包含产生图像输出的卷积层，如肿瘤位置图。 C、 完全连接的网络可以根据非图像数据进行训练，如影像组学特征和临床变量。
当对模型进行结果预测训练时，对大量数据的需求可能会存在局限性。幸运的是，尽管训练数据很少，但有几种方法可以利用神经网络的优势。例如， 迁移学习，其中针对一个模式识别任务训练的模型被重新调整用途以执行新任务，经常用于在训练数据大幅减少的情况下实现强大的CNN性能。其他方法可用于处理有限或有缺陷的训练数据（补充图1）。
3.风险评估和反应预测
3.1预后方法
肺癌
大多数肺癌的影像组学方法都集中在非小细胞肺癌上。Huang等人是首次使用基于纹理的人工影像组学建立预后诺模图来预测I-II期NSCLC患者无病生存率（DFS）的课题组。他们 显示肿瘤内部的一阶统计特征（例如峰度）是肿瘤异质性和3年无病生存率的显著特征，它们与常规临床病理数据（如性别和组织学分级）的结合优于肿瘤、淋巴结、转移（TNM）单独分期标准（C指数0.72与0.63）。Kamran等人利用有限期小细胞肺癌患者的CT扫描构建影像组学模型（ 放射肿瘤扩散），预测2年总生存率（OS）、局部复发和远处转移。Pavic等利用间皮瘤患者的FDG-PET图像建立了一个影像组学模型，以无进展生存率（PFS）和OS为基础对其进行分层。其中长行程高灰度优势(Long-Run High-Grey-Level Emphasis)具有显著的鉴别能力，这反映了PET扫描中标准化摄取值（SUV）的肿瘤内异质性。然而，使用相同患者的CT扫描建立的影像组学模型对结果预测没有辨别力。这项研究值得被强调，因为研究人员在最先进的FDG-PET和CT扫描上应用了新的影像方法来预测间皮瘤（一种罕见的癌症类型）的预后。
在DL领域，Hosny等人使用CT数据训练3D CNN预测放疗后2年的生存率，然后采用该模型基于迁移学习预测手术后的生存率，曲线下面积（AUC）为0.71。这项研究有几个独特之处 ：首先， 使用了七个独立的数据集，涉及来自五个不同机构的约1200名患者；其次，基因组关联研究揭示了DL特征表达与细胞周期和转录过程的相关性， 提供了生物学解释；第三，肿瘤周围区域的DL特征具有最高的预后信号。
乳腺癌
Park等人训练了一个弹性生存模型， 将浸润性乳腺癌患者术前MRI扫描所得的影像组学强度、纹理和形态特征与放射组学所得的预后评分相结合，在测试数据集中，分数越高，无病生存率越差（P=0.0036），其表现优于单独基于每类特征的得分。Wu等人在对比增强MRI上确定了肿瘤内环境中对应于不同灌注水平的亚区，并通过网络分析量化了亚区之间的相互作用 ，预后不良的肿瘤在乳腺MRI扫描中灌注不良区域的比例高于惰性肿瘤。另一组利用动态对比增强（DCE）MRI扫描技术，从早期乳腺癌患者获得影像组学特征，这些特征独立预测腋窝淋巴结转移和3年无病生存率。研究表明， 腋窝淋巴结的影像组学特征在预后表现上与单独肿瘤影像组学特征或与淋巴结影像组学特征相结合的表现相当。 Chitalia等人利用参与完整临床试验的患者的影像学和结果数据，通过预处理DCE-MRI扫描的影像组学特征聚类，形成影像学表型。该特征也在公开可用的数据集上成功验证。这些研究人员表明，AI可以揭示潜在的内在成像表型，对应于不同程度的肿瘤异质性，这反过来可能与组织学上分化较差的肿瘤和较高的有丝分裂分级有关。Drukker等人采用长-短期记忆DL模型，根据与新辅助化疗期间动态乳腺MRI扫描对比增强动力学相关的影像组学特征构建，预测了两年无复发生存率（C指数为0.8）。研究的 独特之处在于使用了递归神经网络（RNN），这是DL网络的一个特殊类别，它使用来自不同时间点的图像的特征进行集成和学习。
脑肿瘤
关于脑肿瘤的影像组学学人工智能研究主要 集中在胶质母细胞瘤上，胶质母细胞瘤是一种脑肿瘤类型，与严重不良后果相关。Kickingereder等基于人工提取特征构建的影像组学模型，结合多参数MRI扫描体积、形状和纹理特征，使用监督主成分分析，预测胶质母细胞瘤患者的无复发生存率（HR2.43；P=0.002）和总生存率（HR4.33；P<0.001）。这项分析发现， 为模型选择的所有影像组学特征完全来自流体衰减反转恢复（FLAIR）序列，这是一种常见MRI检查方式，包括肿瘤内异质性的灰度特征。除肿瘤内特征外，另一组利用肿瘤内外的25个纹理和熵特征制定了放射风险评分，并将这些特征与包括IDH和MGMT状态的分子信息结合，预测验证数据集中的无复发生存率（C指数0.84；P=0.03）。此外，放射风险评分与细胞分化、粘附和血管生成的生物学途径有关。这项研究第一次利用瘤周影像组学特征来评估胶质母细胞瘤患者的生存率， 并通过自动提取的影像组学特征、临床特征和突变信息来综合评估影像成像生物标记物。
Lao等采用 迁移学习的方法，使用预训练CNN从多参数MRI（T1加权（T1w）、T1对比（T1c）、T2w和FLAIR模式）中提取了约98，000个特征，以预测胶质母细胞瘤的OS（C指数0.71）。特征选择之后， 一个包含六个顶级DL特征的LASSO-Cox回归模型能够在OS的基础上对验证数据集中的患者进行准确预测（HR5.13，95%可信区间2.03–12.96；P<0.001）。Kickingereder等人构建了一种自动神经网络（ANN），用于MRI扫描中对比度增强肿瘤和非增强T2w信号异常的识别和体积分割。基于神经网络的模型在同一个机构的患者数据集上进行训练， 并使用两个数据集进行验证，在临床试验数据集验证性能方面是独一无二的。Zhou等人提出了一种新的神经网络方法，将大脑多参数MRI数据（T1w、T1c、T2w和FLAIR）沿三个空间维度投影，形成四通道CNN的RGB图像，将图像数据与病变测量和患者年龄进行融合。该模型能够将患者分为预期中位总生存率为0-10个月、10-15个月和>15个月的亚组，十倍交叉验证之后平均准确度为0.664±0. 061。
前列腺癌
深度学习和人工提取特征的影像组学都应用于最终治疗后获得的多参数MRI扫描，以预测前列腺癌复发的风险。Shiradkar等人使用预处理多参数MRI扫描， 基于纹理的影像组学方法，预测根治性前列腺切除术后的生化复发。这些研究表明，结构异质性和梯度定向影像特征不仅来源于T2w图像，而且来源于表观扩散系数，与癌症复发密切相关。Zhang等人通过交叉验证，利用MRI特征和临床参数建立AI模型，预测根治性前列腺切除术后3年生化复发。基于支持向量机的机器学习分类模型综合了多种影像学特征、PI-RADS评分（用于在多参数MRI上评估临床重要癌症的结构化报告系统）和临床病理学特征，预测3年生化复发，AUC为0.95。 这项研究在整合来自多个尺度和来源的参数以建立准确的预后生物标志物上是独一无二的。Zhong等基于深度迁移学习的模型，通过多参数MRI可区分无痛性前列腺癌和具有临床意义的前列腺癌，在验证数据集中，该模型在识别有临床意义的前列腺癌方面优于标准PI-RADS v2评分（AUC 0.726>0.711）。
其他癌症模型
Wang等使用16个深度特征训练预后模型，特征通过无监督特征学习获得，基于卷积自动编码器对高级别浆液性卵巢癌患者的对比增强CT图像进行训练。该模型在两个不同的验证数据集中准确预测了3年的无复发生存率（RFS）（AUC分别为0.77和0.83；P<0.05）。Parmar等人利用NSCLC或HNSCC患者的预处理CT扫描建立影像组学模型，进行一致性聚类以选择每种肿瘤类型的显著影像组学特征，NSCLC和HNSCC总生存率预测的C指数分别为0.61和0.63，大于组织学分类和分期的AUC（0.56和0.61）。HNSCC模型预测组织学分类效果更好（AUC 0.80），预测人乳头瘤病毒状态结果一般（AUC 0.58）。Zheng等人表明，从孤立性肝细胞癌患者预处理腹部CT扫描动脉期提取的与结构异质性相关的前六个纹理特征的影像组学评分与RFS（P=0.004）和OS（P=0.039）相关。研究表明，基于一阶统计的分子图谱和IV期结直肠癌患者的对比增强CT扫描的影像组学处理，偏度与5年OS相关（P=0.025）。此外，BRAF突变肿瘤中阳性的平均值显著低于BRAF野生型肿瘤（P=0.007）。Creasy等证明，术前CT扫描肝影像组学分析可以预测结肠癌切除术后患者肝转移的未来发展，254个影像组学特征中有17%可以区分肝复发、肝外复发和非复发（P<0.05）。这一发现表明， 原发疾病部位以外的健康器官组织的异质性测量可能反映了生物学原理，为侵袭性肿瘤提供了一个更可行的转移前合适的干预。
在DL领域，Peng等人利用从四个CNN中提取的DL特征和从鼻咽癌患者PET和CT图像中人工提取的影像组学特征，开发了一个AI模型。 该AI模型与相关临床病理参数相结合，形成一个完整的列线图，在独立验证数据集中准确预测DFS。Zhang等人使用AI模型，结合从CNN学习的深度特征，使用NSCLC患者的CT扫描和胰腺导管腺癌患者的人工提取的CT扫描影像组学特征，预测后一组患者的2年OS，优于传统的DL或影像组学方法。
3.2预测治疗反应
放化疗
在非小细胞肺癌 NSCLC患者中， 肿瘤分期通常决定治疗方法。IA期患者通常单独接受手术治疗，而IB-IIB期患者往往在手术切除后进行辅助化疗。培美曲塞联合铂双重化疗是III期无转移患者的标准治疗方案，有些患者在手术后接受放疗或新辅助放化疗。在一项涉及两组不同验证数据集的早期NSCLC患者的研究中，结合CT扫描肺结节内外特征的影像组学诺模图成功预测辅助化疗的益处，并预测3年DFS（C指数0.74）。该评分将患者 风险（高、中、低）分为三组，高风险组的患者在辅助化疗中对DFS的预测有显著的益处，而低风险组的患者没有这种益处。影像学、病理和基因组数据显示，影像组学评分与组织学图像上肿瘤浸润淋巴细胞（TIL）的空间排列（P=0.036）以及与细胞分化和血管生成相关的生物学通路相关。研究表明， 包含瘤内和瘤周纹理特征的影像组学模型可以预测培美曲塞-铂化疗的疗效（AUC 0.77；P<0.05），并且与局部晚期 NSCLC患者的OS密切相关。上述作者还开发了一个影像组学模型，使用非对比CT扫描对患者进行新辅助放化疗，然后进行手术，以实现OS分级（HR 11.18），并预测主要病理反应。Coroller等人，利用原发肿瘤和局部晚期 NSCLC患者淋巴结的影像学特征预测术前新辅助放化疗的病理完全反应（pCR）。描述肿瘤球形度和淋巴结均一性的三个影像组学特征预测pCR的AUC为0.67（P<0.05），而淋巴结均一性量化特征也能准确预测残留病灶。Wei等开发了一个影像组学模型，该模型使用已完成临床试验的患者数据预测铂类化疗的疗效， 交叉验证后AUC为0.79（P<0.05）。关于深度学习方法，结合CNN和RNN分析III期 NSCLC患者治疗前后的纵向CT扫描。在验证数据集中，AI方法在预测病理反应上具有很高的性能（P=0.016），并且随着分析扫描次数的增加，性能得到改善。
关于乳腺癌，影像组学和DL方法主要预测对新辅助化疗的反应。在一项大规模多中心验证研究中，一个 包含对比增强T1w、T2w MRI和扩散加权成像特征的多参数影像组学模型准确预测了三个机构验证数据集中的pCR（AUC 0.79）。Mazurowski等在浸润性乳腺癌患者的DCE-MRI上发现20个与RFS显著相关的预后特征。研究发现，大小（C指数最高，0.77）、异质性（C指数为0.64）和灌注（C指数为0.70）的描述符具有最大的预测价值。Cain等对接受新辅助化疗的患者的MRI扫描进行预测性影像组学特征评估，发现其对预后不良的乳腺癌亚型（三阴性乳腺癌TNBC和HER2）患者的pCR具有高度预测性（AUC 0.71）。有趣的是，这是第一批证明将肿瘤周围区域的纹理影像组学添加到预处理MRI扫描的肿瘤内特征中可以提高对新辅助化疗反应的预测准确度（AUC 0.74）。迄今为止，大多数研究主要是利用动态MRI扫描预测新辅助化疗的疗效，而Tadayyon等基于乳腺超声图像的纹理特征和交叉验证方法，通过在第1周（P=0.035）和第4周（P=0.027），有应答者和无应答者的生存率存在显著差异来预测这些反应。关于DL， Ha等人根据预处理MRI扫描训练CNN预测对新辅助化疗的反应，并报告测试数据集的准确率为88%。研究中TNBC（36%）或HER2（50%）乳腺癌患者的pCR率高于luminal A（18%）亚型患者，这与人群研究一致。因此，这些研究提供了一种潜在的方法， 甚至在治疗开始之前就使用非侵入性成像来选择那些最有可能对新辅助治疗有反应的患者，这不同于当前的标准护理成像方法，后者使用治疗后序列磁共振成像来评估对治疗的反应。
靶向治疗
我们的研究表明，侵袭性HER2乳腺癌患者的DCE-MRI扫描，在瘤周和瘤内影像组学特征的结合有助于识别分子癌亚型，可以深入了解肿瘤周围环境中的免疫反应，并预测HER2靶向治疗的反应。Mehta等人研究表明，基线乳腺动态MRI的药代动力学模型有助于识别贝伐单抗治疗后血管生成通路下调的患者，这可能是对治疗反应的表示。在一项涉及使用CDK4/6抑制剂治疗的激素受体阳性转移性乳腺癌患者的初步研究中，研究发现， CT扫描影像提取的肿瘤内异质性的肝转移影像组学特征衍生风险评分可以评估OS的预后（HR 2.02）和治疗反应（AUC 0.68）。
Aerts等人分析了EGFR抑制剂吉非替尼治疗早期非小细胞肺癌患者的完整临床试验数据。他们利用预处理CT扫描建立了放射模型， 发现” Laws’ energy” 特征与EGFR突变状态密切相关（AUC 0.67），因此与吉非替尼反应表型相关。
免疫疗法
Sun等使用基于CT成像的影像组学方法来估计CD8 TIL的存在，并预测四种实体瘤类型（HNSCC、NSCLC、肝细胞癌和尿路上皮癌）对ICIs的反应。他们对ICIs已完成的MOSCATO试验进行了影像组学建模，收集了RNA测序数据和肿瘤活检样本，用癌症基因组图谱（TCGA）中与CD8基因表达相关的数据集，以及其他两个独立的数据集（分别具有肿瘤免疫表型关联和ICI反应预测的基线成像数据）验证影像组学特征。验证结果表明影像组学特征与OS相关（HR0.52），也可以准确预测ICIs的反应（P=0.025）。利用接受ICIs治疗的NSCLC患者的治疗前和治疗后（6-8周），基于CT扫描建立了一个影像组学模型，在探索放射特征的病理关联时， 发现肿瘤周围的纹理特征与组织活检样本上的TIL密度相关（P<0.05）。Trebeschi等人在接受ICIs治疗的黑色素瘤或NSCLC患者中，通过对比增强CT成像，发现了影像组学生物标记物，该模型预测了ICIs对两种肿瘤类型的高性能反应（P<0.001）。非小细胞肺癌患者的独立基因富集表明，影像基因组与有丝分裂和增殖相关通路相关。
Yang等一项独特研究引入了一个迁移学习网络，该网络能够在使用抗PD-1抗体治疗前，将临床测量、先前干预和成像扫描的影像组学特征整合在一起，预测治疗反应，在交叉验证数据集中AUC为0.8。这种方法具有创新性， 因为它有可能分析来自多种模式的纵向、真实世界的临床数据，而这些模式在固定顺序或时间间隔内不可用。我们研究组开发了一种影像组学预测因子，可以将接受ICIs治疗的NSCLC患者不仅分为有应答者或无应答者，还可以分为高进展者。Tunali等回顾性地根据临床试验中接受单剂或双剂ICIs的患者的四个临床特征以及影像组学特征构建了临床影像组学模型，这些模型通过交叉验证（AUCs为0.81–0.84），仅在ICI治疗开始前进行CT扫描，就成功地识别了超进展者。
放射基因组学
Wu等根据动态MRI上肿瘤和周围实质的增强特征描述了乳腺癌的三种成像亚型， 并探讨了这些亚型与预后和基因型的关系。以TME显著增强为特征的亚型，与预后最坏的5年的RFS和某些信号通路的失调增加有关，包括血管生成和蛋白质输出有关的通路。另一项研究中，开发了一种影像组学特征来估计病理样本中基质TIL的百分比（ρ=0.40），并在外部验证数据集中评估了特征与RFS的相关性 （P=0.0008）。这一特征使患者分为两个亚组，这两个亚组与TNBC患者的RFS显著相关（P=0.04），TIL的存在对TNBC患者的预后影响很大。 Rao等使用无监督的分层聚类方法，利用可用的microRNA和mRNA表达数据，在TCGA胶质母细胞瘤样本中识别由多参数MRI特征定义的新表型。他们利用三个特征确定了这种表型，将患者分为两个亚组，在OS（P=0.0002）方面具有统计学意义的差异，并且涉及多种免疫相关和代谢通路的转录本表达。 使用CT和PET–CT扫描构建的DL模型能够有效预测NSCLC患者的EGFR突变状态，AUCs为0.81。
Pernicka等人分析切除的II–III期结肠癌患者预处理CT成像的影像组学特征，以预测微卫星不稳定性（MSI）的阳性状态，该状态与良好的预后相关。他们观察到MSI阳性肿瘤相对于MSI阴性肿瘤的结构同质性增加（AUC 0.79；特异性96.9%；敏感性92.5%；P<0.05）。最后，Liu等构建了一种基于CT的影像组学特征，预测编码E-钙粘蛋白、Ki-67、VEGFR2和EGFR的基因在胃癌患者中的表达状态。
4.机遇与挑战
数据整理
获取足够的数据以开发AI模型始终是一个挑战，这在开发预测和预后影像组学AI工具时尤为重要。从回顾性采集的数据集中收集数据通常是最方便的，但 预定义的包含和排除标准可能会导致AI算法中的无意识偏差。 随机对照试验（RCT）是建模和验证生物标志物的金标准。基于AI的成像技术取决于成像和结果数据的信噪比，RCT为比较实验分析提供了无偏、同质的数据和精心策划的方法。然而，访问这些RCT数据集既耗时又具有挑战性。
获取RCT无偏差和同质数据集的困难，揭示了多机构合作在构建大型数据集的重要性。在美国包括NCI国家临床试验网络小组（如SWOG、ECOG和NRG），在世界范围内包括欧洲癌症研究和治疗组织，负责资助和运行随机对照试验的加拿大癌症试验组和日本临床肿瘤组。
数据注释
获得数据之后，影像组学和人工智能研究中的一个关键的初步步骤就是注释，即定义空间边界的过程，在该边界内应执行成像分析（图4）。影像组学通常要求精确描绘肿瘤边界或其他感兴趣区域，根据肿瘤形状和异质性进行测量值的计算， 注释可以由放射科医生手动提供，也可以由另一个ML模型（如FCN）输出。 或者，DL模型可以从更粗糙的标签（例如肿瘤在体积中的大致位置）进行训练，从而大大减少注释所需的工作量和专业知识。 有了足够的数据，甚至可以完全避免空间定位的需要。
图4，影像组学和深度学习研究中不同层次的注释细节。定义影像组学和深度学习研究中的感兴趣区域和注释细节水平。
标准化
跨异质采集协议、多个机构和患者群体的再现性是AI成像技术在临床部署中必须要克服的主要挑战之一， 这使得从训练到独立验证，大多数影像组学方法的性能指标急剧下降。Lambin等根据影像组学工作流程的16个组成部分，提出了一个质量分数，表明影像组学研究的稳健性。除了量化稳健性的指标外，有几种方法结合了稳定性措施，以建立更具可重复性的影像组学模型。例如，在三个多中心的数据集中，纳入稳定性的影像组学模型在预测复发方面明显强于传统的影像组学模型。研究人员还使用统计方法（ComBat标准化）纠正重建方法中的批量效应。 只有稳健的、可重复的以及有显著意义的模型才能在临床实践中得到应用。 因此，多中心倡议，如定量成像网络和图像生物标志物标准化倡议等，用于研究影像组学特征集的标准化和优化的机构发展起来。
可解释性
可解释性是AI生物标记物要被广泛采用必须要克服的挑战之一。基于人工提取影像组学特征的影像组学方法对AI算法如何作出决定就有主观性。本文之前讨论的几项研究侧重于通过与计算病理学特征、影像学-病理学联合和生物通路或基因组相关性分析的相关性来解释影像组学特征背后的生物学原理。然而，关于疾病的生物学原因、结果和治疗反应的知识的重大差距显然是需要进一步研究的领域。
这个问题在CNN或DL网络中进一步加剧，这些网络甚至缺乏人工操作方法所提供的有限解释性，而仅关注性能的最大化。许多所谓的“黑盒”方法在诊断环境中可能是完全可行的（例如主要用于区分时间敏感扫描的AI工具），然而当涉及到用于优化治疗的AI成像生物标志物时，可解释性问题变得更为重要， 因为生物标志物驱动的治疗决策需要植根于病理生理学的解释。一些研究人员呼吁开发可解释的模型，而有些研究者认为， 与当前金标准相比，性能应该是确定成像生物标记物可用性的最重要指标，而另一些人则认为有必要研究超越可解释的AI模型。
规范框架
监管机构批准的途径，是临床采用基于成像的AI预测工具的关键障碍。在美国，FDA正致力于简化AI审批机制，与此同时，AI 工具被归类为医疗设备。 AI的设备往往被归类为II类或III类， FDA尚未批准任何基于成像AI的预后或预测工具。 与FDA分级设备分类类似，欧盟法规涉及医疗设备的四级风险分类系统（a-D），其中包括AI决策支持工具。类似政策已经在世界范围内被采用来规范基于AI的医疗决策支持工具。 就报销而言，AI工具目前尚没有专门用于计费的通用程序技术（CPT）代码。要将AI工具转化为实践，必须要创建新的CPT代码，但该工具需要事先获得FDA临床使用批准。选择退出FDA批准并通过临床实验室改进修正案（CLIA）途径，一种基于实验室的诊断试验的监管途径（包括预后和预测性基因组分析，如肿瘤型DX）可能是一种有趣的选择。
4.结论
我们概述了人工智能在影像学中的现状和未来，作为识别新的预测和预后生物标志物用于临床决策的工具。我们相信，本文将为临床医生在新兴领域AI的响应和结果预测提供一个坚实的基础。希望这将有助于理解影像组学中常见的工具和实践，特别是它们可以用于哪些临床场景。我们也希望让人们对AI成像生物标志物的开发和采用产生更大的兴趣。 正如过去50年里放射学的数字化以更高分辨率和更广泛的可用性彻底改变了这个领域一样，下个十年将迎来一场AI推动的放射学革命-- 不是取代放射科医生、肿瘤学家或临床医生，而是为他们提供新工具库和助手，以更好地指导治疗，并最终改善患者预后。
参考资料：
https://zhuanlan.zhihu.com/p/459735826
来源| ToastPaper
排版编辑：肿瘤资讯-Astrid
苏公网安备32059002004080号
