您好,欢迎您

【35under35】蔡长景医生:好风凭借力,送患入精准:肿瘤精准诊断与治疗的新一代工具---计算机病理学

2023年08月23日
作者:蔡长景
医院:中南大学湘雅医院

 

蔡长景
医师

中南大学湘雅医院 肿瘤科
肿瘤学博士,曾赴耶鲁大学医学院学习交流。
专注于消化道肿瘤,特别是肠癌与肝癌等临床研究以及基础研究,主要的研究方向为肿瘤免疫微环境、免疫治疗、靶向治疗等机制相关探索以及临床新药或新治疗策略临床试验。
以第一作者/通讯作者在EBiomedicine, Molecular Therapy(2篇,其中一篇为Feature Article以及ESI高被引), Journal of Infection, iScience等国际期刊发表SCI论文12篇,其中IF>10分5篇,个人H-index: 15。
研究成果被国际指南、WHO检索数据库收录。
担任多个高水平杂志特邀审稿人,如:Emerging Microbes & Infections,Seminars In Cancer Biology,British Journal Of Cancer等10余个杂志特邀审稿人。
担任iMETA青年编委、Frontiers in Genetics 客座编辑、Frontiers in Oncology 审稿编辑,中国普外外科杂志青年编委。
主持中南大学校级课题2项,大学生创新课题(国家级)2项。作为指导老师指导湖南省大学生创新课题1项。
曾获湖南省医学技能创新创业大赛一等奖。

精准医学是目前肿瘤诊疗的主要探索方向和目标,随着人工智能(Artificial Intelligence,AI),尤其是机器学习和深度学习,即计算机病理学在临床肿瘤研究中的广泛应用,精准诊疗得到了显著提高。本文围绕计算病理学在肿瘤领域的发展进行总结与归纳,首先,从临床出发,讨论计算病理学在肿瘤诊疗中的发展历程以及临床应用,再者,展示计算机病理学主要实现的方法细节和影响因素,最后讨论计算机病理学在临床实施中的机遇与挑战。从临床以及技术的角度,阐述计算机病理学基于临床,又服务临床的探索路程以及未来的发展方向。

前言

人工智能在医学领域的应用广受关注,1999年全切片扫描仪问世后,使用计算方法分析数字化全切片图像(WSIs)的AI在数字病理学领域迅速发展。大规模数字幻灯片库的创建,如癌症基因组图谱(The Cancer Genome Atlas, TCGA),使研究人员能够自由访问与临床结果和基因组信息相关联的丰富的管理和注释的病理图像数据集,反过来促进了AI在数字病理学和肿瘤学方面的大量研究[1,2]。病理学人工智能模型从专家系统发展到传统的机器学习(ML),再到深度学习(DL)。与专家系统和手工机器学习方法相比,深度学习方法更容易实施,并且具有更高的准确性。计算处理能力的提高和算法的蓬勃发展,如卷积神经网络(CNN),全卷积网络(FCN),递归神经网络(RNN)和生成对抗网络(GAN),导致了基于深度学习的人工智能在病理学中的使用的多项研究。AI在病理学中的应用有助于克服病理医师主观视觉评估的局限性,整合多种测量指标,实现精准肿瘤治疗[3]。计算病理学是病理学和信息技术的一个分支,如人工智能和计算机视觉[1]。它利用图像处理和AI技术分析病理图像。以组织病理学图像分析为例,计算病理学研究分为图像预处理、癌症检测、组织成分鉴定、细胞检测、分子亚型预测和预后预测,还可用于免疫组化图像和细胞病理学图像分析。(图1)

图片9.jpeg 图1. 计算机病理学的技术路线

癌症的发病率和死亡率在全球范围内不断上升[4,5]。为了实现精准医学的目标,与肿瘤进展和复发相关的生物标志物相继被发现,并在整个肿瘤诊疗过程中发挥着至关重要的作用。特别是,预后因素是在没有治疗或所有患者可能接受[2]标准治疗的情况下,与临床结局相关的测量指标。它可以被认为是疾病自然史的一种衡量。也就是说,它能够监测抗癌治疗的进展,评估肿瘤的分期及其潜在的恶性程度,以及每个病例疾病缓解的预后。预测因素是与对特定治疗[2]反应或无反应相关的测量指标。反应可以用临床试验中常用的任何临床终点来定义。在开始治疗前预测肿瘤对特定治疗的反应可以帮助临床医师调整治疗方案,预测药物毒性等。例如,乳腺癌中的Her-2将被用于将特定疗法(如曲妥珠单抗)与特定的临床应答或缺乏联系起来。准确的肿瘤早期诊断和预后预测对提高患者生存率至关重要。因此,通过深度学习方法基于苏木素-伊红(H&E)病理图像进行生物标志物预测已成为人工智能肿瘤诊断和预后研究的热点。

在临床实践中发现,肿瘤的复杂变化包括细胞-环境相互作用导致的基因组变化、肿瘤异质性的局限性及其多维复杂的信号网络。这些变化都可能影响疾病的生物学过程,并影响对治疗干预的反应。这些变化特征通常是连续变量,即使常规HE染色有免疫组化染色,即使有大量经过严格系统训练的病理医师能够快速提取图像的优势,也只能停留在图像识别层面并报告给临床医师。这一过程仍受到其视觉感知和整体判断的主观性和个体差异的内在影响,不能将独立的生物标志物作为诊断和治疗的依据。基于AI的AI识别和预测系统,在大数据训练和测试的背景下,有助于克服主观视觉评估的局限性,整合多种测量方法,捕捉组织结构的复杂性。这些组织病理学特征还可以与其他放射学、基因组学和蛋白质组学测量相结合,从而提供更客观、多维和功能相关的诊断结果。因此,基于人工智能的方法是稳健和可重复的,并且是减轻肿瘤科医师和病理学家面临的一些挑战的起点。本文对现有基于深度学习算法的肿瘤预后预测模型进行总结,讨论其算法难点及其临床转化所面临的挑战,希望为未来的研究提供新的思路。

计算机病理学在肿瘤精准诊疗中的临床应用

随着对肿瘤发生、播散、化疗耐药和放疗等分子机制研究的进展,临床前瞻性和回顾性研究为生物标志物在临床实践中的应用打开了大门。目前已有许多研究证实了一些与预后预测相关的肿瘤标志物。

有丝分裂率。

肿瘤组织中恶性增值细胞的比例与肿瘤的侵袭性密切相关,有丝分裂仍然是乳腺肿瘤最重要的增殖标志物[3,4]。尤其是对于乳腺癌的分级,WSI的应用对于提高研究的一致性具有重要意义[4-6]。Lashen A等发现乳腺癌的不典型与典型有丝分裂比可能比总体有丝分裂值具有更大的预后价值。该任务手工完成时耗时耗力,且存在抽样偏倚、异质性和统计不确定性,使得深度学习背景下的自动图像分析的发展具有长期的临床意义[3,7]。研究表明,基于he染色切片的CNN网络辅助有丝分裂技术不引入额外的偏倚和变异,平均kappa值为0.724,不劣于人工[8]

微卫星稳定性(MSI)。

MSI分为3个亚型:高不稳定性微卫星、低不稳定性微卫星和稳定性微卫星。MSI已被批准作为免疫检查点阻断(ICB)治疗的泛癌症生物标志物,因此在MSI中进行了广泛的研究[9-13]。Cao R等开发了一种基于病理的深度学习模型,可以从结直肠癌的组织病理学图像中有效预测MSI,为ICB治疗的前瞻性临床试验奠定了基础。模型检验AUC为0.8848,外部验证AUC为0.8504[14]。此外,Guo B等人还提出了一种最先进的基于CNN的基于移位窗口的层次视觉转换器(Swin Transformer [Swin- t])。Swin-T在使用小的训练数据集时非常高效,可能比现有的基于ResNet5和ShuffleNet.[15]的MSI预测算法高效10-18倍Lee SH等人尝试基于深度学习预测he染色组织切片的MSI状态,结果表明深度学习可以自动学习胃癌组织切片中用于MSI状态区分的最佳特征。基于TCGA和福尔马林固定石蜡包埋(FFPE)组织训练的模型的auc分别为0.893和0.902[16]

原癌基因HER-2/neu(C-erbB-2)。

HER-2是一种糖蛋白,常在许多器官的上皮组织中表达。目前,HER-2在乳腺癌中具有明确的预后关系,并且逐渐发现HER-2在胃癌和CRC中也有相关性[17-19]。Farahmand S等在188张HE全幻灯片图像(WSI)上训练CNN分类器,实现HER-2状态的预测。在验证集中AUC为90.2,在TCGA测试集中AUC达到0.81。此外,他们对187例接受曲妥珠单抗治疗的HER-2+乳腺癌患者的治疗前样本进行了分类器训练,以实现对曲妥珠单抗治疗HER-2+乳腺癌患者疗效的预测。模型AUC为0.80

程序性细胞死亡蛋白1(PD-1)。

PD-L1状态有助于判断哪些患者可能从PD-1/PD-L1抑制剂中获益,其中AI在肺癌中显示出巨大的潜力[21-26]。Sha L等使用深度学习方法从he染色的非小细胞肺癌WSI预测PD-L1状态,模型AUC为0.80[27]。Hondelink LM等人进行了类似的研究,开发了基于深度学习的PD-L1肿瘤缩放评分(TPS)算法,组内系数为0.96,科恩κ系数为0.69[28]。Hu J等使用190张黑素瘤he切片训练CNN预测模型,54张黑素瘤he切片和55张肺癌he切片作为测试集来建立癌症患者对抗pd -1治疗的反应性。黑色素瘤模型的AUC为0.778,肺癌模型[29]的AUC为0.645。该模型还可以通过迁移学习扩展到其他肿瘤。

格里森分级系统。

由Donald Gleason于1966年提出,Gleason分级系统至今仍是前列腺癌最有力的预后因素之一[30-32]。Madabhushi A等人发表了一篇关于前列腺活检的现有gleason分级深度学习方法的评论,指出深度学习可以有效解决观察者之间的显著差异,并有信心在未来[33]中创建泌尿外科领域的新一代预后预测模型。

预测患者预后。

预后预测是临床肿瘤学的重要组成部分,因为预期的疾病途径和生存的可能性可以指导治疗决策。AI在预后预测中的应用于2016年初首次被引入,当时Obermeyer Z等人提出机器学习将在三个方面对医学发展产生巨大影响:提高诊断准确性,改善预后,以及取代影像医师和病理医师的部分工作[7]。在肺癌方面,Coroller TP等发现CT的影像学特征可以预测肺腺癌患者的远处转移(DM), Grove等认为这是早期肺癌患者的一个很强的预后指标[8,9]。Vignati等对49例前列腺癌患者的扩散和t2加权磁共振成像进行了全面的前瞻性放射学分析,结果支持T2w磁共振成像在评估Pca[10]生物侵袭性中的作用。CE-CT和CE-MRI图像在术前预测肿瘤危险度分级方面也有重要作用,如胸腺瘤、乳腺癌前哨淋巴结转移[11,12]。超声还用于乳腺肿瘤的良恶性鉴别,并常规作为一种无创的术前方法,根据其评分来确定乳腺癌患者的HER-2和Ki-67状态[13-15]。与上述图像相比,组织切片是一个无与伦比的高信息密度、高清图像,这使得组织学图像成为基于深度学习的生物标志物提取的一个有吸引力的来源。早在2017年,cnn就被用来将乳腺WSI分为正常/良性、DCIS和浸润性导管癌(invasive ductal carcinoma, IDC)[34]。免疫组织化学染色在肿瘤诊断、预后和治疗选择方面具有深远的作用,这是将计算病理学与肿瘤活检相结合的一个重要研究领域。Niazi MKK等使用迁移学习方法从Ki67乳腺癌组织图像中识别阳性和阴性的肿瘤细胞核,解决了最初由于染色和细胞周期[35]而对Ki67进行定量的难题。在分析结直肠癌[36]的独立预后因素pan-cytokeratin时,自动化图像分析框架可利用其视觉优势,常规使用he可检测和量化肿瘤生长情况。深度学习模型也被广泛应用于肿瘤分期,如肺癌[37-39]、结直肠癌[40,41]、乳腺癌[42-44]、膀胱癌[45]等,与传统的ML方法相比具有更高的准确性。特别是由Kanavati F等训练的深度学习模型将训练集的579张wsi图像分类为ADC、SCCC、SCLC和非肿瘤染色的全切片图像,其AUC高达0.99。测试集使用了2407个wsi, AUC范围为0.94 ~ 0.99[39]

预测药物疗效。

精准医学的目标是利用高分辨率的组织学数据优化患者管理和治疗,以提高生存率。癌症治疗极具挑战性,因为肿瘤的异质性往往导致相同肿瘤类型的患者对治疗的反应不同。传统的“一刀切”抗癌治疗(如化疗)通常伴有许多副作用,可能无法达到最佳治疗结局。新兴的生物标志物特异性靶向疗法和一些免疫疗法允许在研究个体疗效的同时进行个体化“靶向”。因此,生物标志物驱动的治疗方案(单独或联合化疗)是当今个体化(或精准)肿瘤学的支柱。预测性(或反应性)生物标志物的不同之处在于,它们用于评估患者从特定治疗中获益的可能性,并支持治疗决策过程[46,47]。在肿瘤分子诊断中具有公认临床价值的最重要的预测生物标志物是以下基因中点突变和染色体异常类型的体细胞突变:EGFR[48,49]、KRAS[48]、BRAF[11,50]、PDGFRA[51]、KIT[51]、HER-2[20]、BCR-ABL[52,53]和EML4-ALK[49]。早在2018年,Coudray N等人使用CNN方法训练网络来预测腺癌(LUAD)中最常见的10个突变基因。结果显示,病理图像可预测STK11、EGFR、FAT1、SETBP1、KRAS和TP53的6个参数,模型auc为0.733 ~ 0.856[48]。这对临床治疗具有重要意义。例如,针对EGFR的靶向治疗药物已经问世。STK11也是一个潜在的治疗靶点,它的突变可能在KRAS突变中发挥作用,而KRAS突变结合在一起会导致更具侵袭性的肿瘤。Sakellaropoulos T等利用包含1,001个癌细胞系的药物基因组学数据库训练了用于预测药物应答的深度神经网络。验证表明,它可以有效捕获复杂的生物学相互作用,是实现精准肿瘤学[54]的重要一步。Song JH等使用基于注意力的两步深度学习方法训练了400例患者内镜下切除的he染色标本的WSI,用于预测T1期CRC的淋巴结转移风险。使临床医生能够早期识别和切除预先存在的转移淋巴结。该模型的AUC为0.764,与参考指南[55]相比,使用该模型减少了15.1% (67.4% vs . 82.5%)的不必要的额外操作。这是人工智能在预测方面令人兴奋的应用的一个例子。

计算机病理学的主要实现方法

与病理预后计算和预测相关的常用机器学习方法包括逻辑回归、决策树和支持向量机。(图3)

图片10.jpeg图2. 目前应用较为广泛的机器学习算法

Logistic回归是预测二元结局的有力工具。例如,患者是否会因为特定的病理而生存或死亡。它的优点包括简单、可解释性和识别有影响的预测因素的能力。但它的缺点包括依赖线性假设,难以捕捉复杂的非线性关系,以及无法捕捉预测因素之间的相互作用。Ali H R等[56]联合logistic回归建立的预测模型提高了预测精度。Jiao Y等[57]提出了基于深度嵌入的logistic回归。该模型可解释性强,在处理大规模数据时具有较高的效率和准确性。然而,非线性问题的处理能力相对较弱,计算复杂度较高,需要更先进的计算资源和设备支持。

决策树是预测结果的一种功能强大且通用的工具,其优势包括能够捕获复杂的非线性关系和预测因素之间的相互作用,能够处理缺失数据,以及可解释性。其缺点包括易发生过拟合和对数据分布变化缺乏稳健性。Amgad M等人[58]提出了一种使用决策树近似的方法用于学习嵌入的可解释核分类。优点包括可解释性、准确性和效率,缺点包括数据量限制、噪声敏感性和可伸缩性不足。

支持向量机的优势包括它们能够捕捉复杂的非线性关系和预测因素之间的相互作用,它们处理大数据集的能力,以及它们对输入数据中的微小变化的鲁棒性。但其缺点包括缺乏可解释性和难以处理大规模训练样本[59]。在BreaKHis数据集乳腺癌检测的背景下,支持向量机能够处理高维数据和非线性决策边界。然而,内核函数及其参数的选择可能需要仔细选择和调优以获得最佳性能[60]

人工神经网络的优势在于能够捕捉复杂的非线性关系和预测者之间的相互作用,处理大数据集的能力,以及对输入数据的微小变化的鲁棒性。但最严重的问题是它无法解释其推理过程和基础[61]。解读结果通常被认为是使基于机器学习的诊断或治疗决策透明和可信的关键[62,63]。Jaume G等人[64]提出了一种方法来量化图形神经网络解释器在计算病理学背景下的有效性,它强调了开发一个框架来评估GNN解释器在计算病理学中的有效性的挑战。

逻辑回归和决策树在准确性、敏感性和特异性方面表现最好。支持向量机和人工神经网络的准确率和灵敏度较低,但特异性较高。总的来说,每一种机器学习算法都有其优缺点,选择哪种算法将取决于分析的具体要求。机器学习模型需要人类的一些指导和调整来逐步提高其结果,而深度学习模型可以调整其参数和融合多模态数据,需要更多的数据量。未来的特征可能是基于学习的算法不断进步,以及多个数据源的整合,从而为患者提供更准确和个性化的诊断、预后和治疗预测。

计算病理学在过去十年发展迅速,由于全幻灯片图像(whole-slide images, WSIs)的出现,现在为预后提供了更多的可能性[65-67]。WSI图像比原始的单个视场图像包含更丰富、多层次的信息,还可以弥补采样斑块的空间不规则性和结构信息的缺乏[26,66]。全幻灯片成像是一个复杂的领域,其中基于深度学习的计算病理学方法需要在全监督环境下手动注释十亿像素wsi,或者在弱监督环境下使用幻灯片级别标签的大数据集[68]。Sugi Lee等[69]从TCGA检索的患者基因表达数据中识别出差异表达基因(differentially expressed genes, DEG),并利用全监督深度学习提出了一种用于病理肾细胞癌患者分期的预测方法,准确率达到94%。Lu MY等人提出了聚类约束注意多实例学习(clustering- constraint -attention multi -instance learning, CLAM)高通量深度学习框架,这是一种弱监督方法,克服了耗时、昂贵的全监督等问题,同时也提高了数据效率,同时也具有较高的概化性和推广性。弱监督计算病理学更接近于临床适应,因为它只需要为临床目的收集的幻灯片或患者级别的标签,并允许通过有限的、有噪声或不准确的数据进行模型训练。[70\71]。(图2)  

     图片11.jpeg

图3. 基于CNN的深度迁移学习病理学预后模型流程图。

深度学习的优势在于能够捕捉复杂的非线性关系和预测器之间的相互作用,以及处理大数据集的能力[72]。但最严重的问题是它无法解释其推理过程和基础[61]。解释结果通常被认为是使基于学习的诊断或治疗决策透明和可信的关键[62,63]。Jaume G等人[64]提出了一种在计算病理学背景下量化图形神经网络(GNN)解释器有效性的方法,它强调了开发一个框架来评估GNN解释器在计算病理学中的有效性的挑战。因此,通过深度学习方法挖掘数据信息,临床医生可以全面了解肿瘤,寻找新的生物标志物来辅助肿瘤治疗和预后预测,从而为患者提供最佳的治疗。

计算病理学是一个新兴领域,有可能彻底改变疾病的诊断、预后和治疗。然而,它有一些技术相关的困难,包括数据获取、数据注释、模型构建和计算。首先,该模型缺乏详细的、基于像素的标签。优秀的AI模型需要病理医师注释许多高质量的标签。最近的几项研究提出了减少标记工作量的方法,例如使用稀疏注释数据[73,74]和弱监督学习[75]。虽然这些方法可以减少标记工作,但它们也可能导致较低的准确性,并需要更多的迭代才能获得可接受的结果。Pang S等人[76]提出将先验知识用于无监督学习,但无监督学习方法的准确性可能受到先验知识质量和数量的限制。通过设计可扩展的众包方法,非病理学家可以参与标记工作,从而减少病理学家的标记工作[77]。但这种方法可能导致最终数据集出现错误。 其次,由于he染色图像与其他免疫组织化学染色图像差异较大,完成颜色转换任务仍然是一个挑战。为了解决这一问题,需要进行更多的研究来应用归一化步骤将图像与不同的染色技术进行匹配,以方便不同组织成分之间的颜色辨别[78]。Tellez D等人[79]提出了一种新的无监督方法,利用神经网络对染色颜色进行归一化。染色颜色归一化虽然保证了不同样本的组织病理学图像颜色一致,提高了分类的准确性,但也会导致图像中一些信息的丢失,尤其是当归一化过程过于激进时。第三,细胞分割是从病理图像中提取感兴趣的病理特征的重要步骤。目前存在许多技术问题,如边界模糊、细胞结构复杂、细胞状态多变等,使得细胞分割非常困难[80]。Naylor等[81]提出了一种用于簇状核分割的深度回归模型。Zhao B等[82]提出了一种无需颜色归一化的核分割模型。Liu Y等[83]采用的细胞分割方法具有自动化、准确性和再现性的优势,但存在数据量限制、对图像质量敏感和缺乏创新的问题。

该领域未来的研究方向包括开发更精确的识别和分类癌细胞的算法,结合更先进的图像处理技术;发展更复杂的自然语言处理技术来解释病理文本;对抗性攻击和对抗性鲁棒性的进一步研究。Javed S等人[84]提出了一种利用相关滤波器的多级特征融合方法来提高检测精度。这为提高组织学图像中细胞核的检测提供了一个有前景的方向,并可能对广泛的医学应用产生重要影响。此外,对抗性攻击是AI系统的漏洞[85]。Ghaffari Laleh N等人[86]研究了对抗性攻击和对抗性鲁棒性,强调了使用标准化数据集和度量标准对机器学习模型进行基准测试和鲁棒性评估的重要性,并表明该领域的未来正朝着开发更鲁棒和安全的机器学习模型的方向发展。

计算机病理学在临床应用中面临的挑战

数据质量不统一可能会降低模型的泛化性。癌症基因组图谱(The Cancer Genome Atlas, TCGA)是模型训练样本的重要来源,但由于其不同来源的标本在采集、染色、数字化和患者人口统计学方面的差异,这就产生了独特的特定位点的数字组织学概况,这反过来可能导致数字成像模型缺乏普适性[87-89]。目前的解决方案集中在通过校正不同机构的切片染色差异来提高组织学图像分析的有效性。示例包括消除批量效应、染色正常化和颜色增强以最大限度地优化结果[90-92]。不同医疗中心收集的数据可能有不同的处理方法、扫描成像甚至患者人群。Sirinukunwattana等应用对抗领域训练来提高模型泛化性能,使他们的模型能够学习领域不变特征[40]。Yamashita等人使用STRAP (Style TRansfer Augmentation for histopathology)在保留语义内容的同时,用随机选取的图像的风格来替代图像的风格(纹理、颜色和对比度),从而提高了域外性能[93]。 此外,不同放大倍数的样本对模型训练也有影响。Shi JY等检验了不同放大倍率下的输入样本对模型性能的影响,发现随着放大倍率的增加,需要更多的bin来饱和网络性能,并且三种放大倍率的组合始终优于单一放大倍率[94]

不同的技术路线可能会降低模型的准确性。除了上面提到的组织和数据预处理,还有三个方面需要考虑:神经网络模型的选择和构建、损失函数和优化函数的选择以及参数的设置[95]。Saillard C等使用两种独立模型预测肝细胞癌切除术后的生存:一种由病理学家进行注释,另一种无人类参与。结果表明,两者都具有相当且优秀的生存预测能力[96]

此外,损失函数和优化函数的选择对病理模型的性能有重要影响。优化函数通过提供一种最小化错误和最大化效率的方法来提高计算病理模型的准确性、速度和可扩展性。结合两个损失函数对网络进行优化,提高了预测的准确性[97]。Anam D A等[98]发现使用不同的优化算法,如SGD和Adam,对病理模型的准确性有显著影响。Lu M Y等[99]发现损失函数对于提高计算病理学系统的性能非常有效。

通过调整模型的权重等参数,更好地捕捉底层数据,可以实现更准确的预测。Pang S等[100]通过调整参数提出了一种深度卷积神经网络VGG16-T,显著提高了肺癌病理类型识别的准确性。联邦学习过程通过聚合模型的参数来创建一个可以对组织样本进行准确分类的全局模型[101]。与传统的机器学习方法相比,该方法具有更高的准确率和效率。

可解释性和不确定性成为最严重的障碍。在临床实践中使用深度学习模型的主要挑战是模型的“黑箱”性质[63,102 -104]。这是由于CNN中隐藏的“卷积”层,以及每一层都包含一个“过滤器”的事实,一个多层架构,大大增加了模型的复杂性,并限制了用户对学习到的特征的控制。医疗决策是一个高风险的过程,需要可信和可解释的决策过程。可解释性意味着如果可以用数学量化来“解释”神经网络模型的决策过程,就有可能解决AI模型和临床医生之间的潜在分歧,从而增加对AI系统的信任[105]。Seegerer等人使用逐层相关传播来定位图像的相关部分,使得从乳腺肿瘤图像中预测ER状态更加容易理解[106]。令人感兴趣的是Diao JA等人提出的一种方法,该方法使用人类可解释的图像特征(HIF)从全幻灯片组织病理学图像预测临床相关的分子表型,这为病理学家提供了验证中间步骤和识别故障点的机会[107]

如果将这些模型用于临床实践,它们不仅需要可解释,还需要能够估计其预测中的不确定性。目前大多数深度学习模型的准确性预测只是概率最高的最佳猜测。不满足100%的稳定准确率会产生错误的结果,虽然这在临床实践中即使是病理医师也会遇到100%完美的问题,但我们想知道其不确定性的概率,以便更好地进行决策管理。因此,现有的研究表明,当个体预测的不确定性过高时,可以使机器学习模型能够自动或半自动地丢弃具有高不确定性的样本,并将其报告给人类[108]。概率深度学习方法可以量化预测的不确定性,如贝叶斯深度学习[109,110],是解决这些问题的优秀候选方法,最近已开始应用于癌症诊断任务[11,112]

计算机病理学在临床应用中的未来及展望 
近年来,CNN等深度学习技术受到了广泛关注,并在计算机视觉任务中取得了特别成功。然而,仍有许多问题有待解决。

主要问题是基于“黑箱”的深度学习AI因其缺乏可解释性而受到质疑,这是AI临床应用的障碍。然而,一些研究人员已经将深度学习算法和手工机器学习方法集成在一起,以提高模型的生物学可解释性。未来需要更多的策略来提高AI算法的可解释性,获得医患双方的信心。另一个主要挑战是,模型训练需要大量健壮的、表型良好的训练数据,以建立模型的良好泛化性。但需要注意的是,在训练过程中不能有单一的数据源,数据量要适中,避免模型过拟合。总之,深度学习的自动化和复杂的数据驱动本质似乎是一把双刃剑,减少了人类的参与和失误可能,但没有获得人们完全信任。

此外,由于每项研究的性能都是使用不同的技术对具有不同样本分布和特征的不同人群报告的,因此以客观的方式比较研究之间的算法具有挑战性。“AI分界”一词反映了准确性并不一定代表临床疗效的事实。为了实现公平的比较,算法可能需要在代表目标人群的相同独立测试集上使用相同的性能指标进行比较。对真实世界临床表现和泛化的正确评估需要适当设计的外部验证,包括使用从提供模型训练数据的机构以外的机构收集的足够大的数据集来测试AI系统。

总体而言,未来的肿瘤病理学是数字化的,数字化将极大地影响临床工作流程,为临床医生和患者提供基于大数据的信息。经验医学正逐渐被以患者为中心的循证医学所取代,使肿瘤研究向精准肿瘤学迈进。对于许多疾病,如癌症,人们早就认识到疾病分子表达的潜在差异往往表现为组织结构和核形态的改变。这些细微的变化很难用肉眼捕捉到,即使在我们各种色斑的帮助下,它们仍然无法超过用于比较的计算机图像的模块化分析和定量捕捉。此外,计算病理学将成为未来连接临床信息和精准治疗的桥梁。此外,计算病理学将成为临床信息与精准治疗之间的桥梁。这意味着开发新的数据融合算法来结合放射学、组织学和分子测量。在未来,它不再局限于单一的he病理图像分析,而需要结合所有的临床信息,包括影像学、多组学、遗传学等信息,做出综合评估。这在很大程度上避免了人工操作时考虑不畅和忽略信息的问题。除了帮助临床医师做出准确决策之外,使用计算成像工具还可以创建基于数字成像的伴随诊断检测,从而改善疾病风险特征。与侵入性、随机且获取昂贵的基因组或蛋白质组学检测不同,这些基于数字成像的伴随诊断检测不仅可以显著降低成本,还可以捕获组织切片之间的肿瘤异质性,并且不需要组织样本的物理运输。

综上所述,计算病理学可能大大改变现有癌症治疗模式,助力实现精准肿瘤学,但也存在重重阻碍。本文阐述了计算病理学在肿瘤治疗指导和预后预测领域的应用前景及其技术特点。随着研究的成熟,深度学习在肿瘤学领域的未来应用将不仅仅局限于现有的预后生物标志物,还可能利用多模态学习整合医学图像和组织学数据,识别具有生物学意义的生物标志物。最终,可解释的深度学习方法的临床验证将对计算病理学在临床工作中被接受起到至关重要的作用。
 

参考文献

1. Louis, D.N., et al., Computational Pathology: A Path Ahead. Arch Pathol Lab Med, 2016. 140(1): p. 41-50.
2. Clark, G.M., et al., Clinical utility of epidermal growth factor receptor expression for selecting patients with advanced non-small cell lung cancer for treatment with erlotinib. J Thorac Oncol, 2006. 1(8): p. 837-46.
3. Lashen, A., et al., The characteristics and clinical significance of atypical mitosis in breast cancer. Mod Pathol, 2022. 35(10): p. 1341-1348.
4. Ibrahim, A., et al., Defining the area of mitoses counting in invasive breast cancer using whole slide image. Mod Pathol, 2022. 35(6): p. 739-748.
5. Abdel-Fatah, T.M., et al., Proposal for a modified grading system based on mitotic index and Bcl2 provides objective determination of clinical outcome for patients with breast cancer. J Pathol, 2010. 222(4): p. 388-99.
6. Ibrahim, A., et al., Combined proliferation and apoptosis index provides better risk stratification in breast cancer. Histopathology, 2023.
7. Thunnissen, F.B., et al., Mitotic counting in surgical pathology: sampling bias, heterogeneity and statistical uncertainty. Histopathology, 2001. 39(1): p. 1-8.
8. Balkenhol, M.C.A., et al., Deep learning assisted mitotic counting for breast cancer. Lab Invest, 2019. 99(11): p. 1596-1606.
9. Kather, J.N., et al., Deep learning can predict microsatellite instability directly from histology in gastrointestinal cancer. Nat Med, 2019. 25(7): p. 1054-1056.
10. Tsai, P.C., et al., Histopathology images predict multi-omics aberrations and prognoses in colorectal cancer patients. Nat Commun, 2023. 14(1): p. 2102.
11. Bilal, M., et al., Development and validation of a weakly supervised deep learning framework to predict the status of molecular pathways and key mutations in colorectal cancer from routine histology images: a retrospective study. Lancet Digit Health, 2021. 3(12): p. e763-e772.
12. Lou, J., et al., PPsNet: An improved deep learning model for microsatellite instability high prediction in colorectal cancer from whole slide images. Comput Methods Programs Biomed, 2022. 225: p. 107095.
13. Schirris, Y., et al., DeepSMILE: Contrastive self-supervised pre-training benefits MSI and HRD classification directly from H&E whole-slide images in colorectal and breast cancer. Med Image Anal, 2022. 79: p. 102464.
14. Cao, R., et al., Development and interpretation of a pathomics-based model for the prediction of microsatellite instability in Colorectal Cancer. Theranostics, 2020. 10(24): p. 11080-11091.
15. Guo, B., et al., Predicting microsatellite instability and key biomarkers in colorectal cancer from H&E-stained images: achieving state-of-the-art predictive performance with fewer data using Swin Transformer. J Pathol Clin Res, 2023. 9(3): p. 223-235.
16. Lee, S.H., Y. Lee, and H.J. Jang, Deep learning captures selective features for discrimination of microsatellite instability from pathologic tissue slides of gastric cancer. Int J Cancer, 2023. 152(2): p. 298-307.
17. Kunte, S., J. Abraham, and A.J. Montero, Novel HER2-targeted therapies for HER2-positive metastatic breast cancer. Cancer, 2020. 126(19): p. 4278-4288.
18. Zhu, Y., et al., HER2-targeted therapies in gastric cancer. Biochim Biophys Acta Rev Cancer, 2021. 1876(1): p. 188549.
19. Mangiapane, L.R., et al., PI3K-driven HER2 expression is a potential therapeutic target in colorectal cancer stem cells. Gut, 2022. 71(1): p. 119-128.
20. Farahmand, S., et al., Deep learning trained on hematoxylin and eosin tumor region of Interest predicts HER2 status and trastuzumab treatment response in HER2+ breast cancer. Mod Pathol, 2022. 35(1): p. 44-51.
21. Huang, Z., et al., A new AI-assisted scoring system for PD-L1 expression in NSCLC. Comput Methods Programs Biomed, 2022. 221: p. 106829.
22. Wu, J., et al., Artificial intelligence-assisted system for precision diagnosis of PD-L1 expression in non-small cell lung cancer. Mod Pathol, 2022. 35(3): p. 403-411.
23. Cheng, G., et al., Artificial Intelligence-Assisted Score Analysis for Predicting the Expression of the Immunotherapy Biomarker PD-L1 in Lung Cancer. Front Immunol, 2022. 13: p. 893198.
24. Zhao, X., et al., From rough to precise: PD-L1 evaluation for predicting the efficacy of PD-1/PD-L1 blockades. Front Immunol, 2022. 13: p. 920021.
25. Wu, J. and D. Lin, A Review of Artificial Intelligence in Precise Assessment of Programmed Cell Death-ligand 1 and Tumor-infiltrating Lymphocytes in Non-Small Cell Lung Cancer. Adv Anat Pathol, 2021. 28(6): p. 439-445.
26. Chen, Y., et al., A whole-slide image (WSI)-based immunohistochemical feature prediction system improves the subtyping of lung cancer. Lung Cancer, 2022. 165: p. 18-27.
27. Sha, L., et al., Multi-Field-of-View Deep Learning Model Predicts Nonsmall Cell Lung Cancer Programmed Death-Ligand 1 Status from Whole-Slide Hematoxylin and Eosin Images. J Pathol Inform, 2019. 10: p. 24.
28. Hondelink, L.M., et al., Development and validation of a supervised deep learning algorithm for automated whole-slide programmed death-ligand 1 tumour proportion score assessment in non-small cell lung cancer. Histopathology, 2022. 80(4): p. 635-647.
29. Hu, J., et al., Using deep learning to predict anti-PD-1 response in melanoma and lung cancer patients from histopathology images. Transl Oncol, 2021. 14(1): p. 100921.
30. Bulten, W., et al., Artificial intelligence for diagnosis and Gleason grading of prostate cancer: the PANDA challenge. Nat Med, 2022. 28(1): p. 154-163.
31. Epstein, J.I., et al., The 2019 Genitourinary Pathology Society (GUPS) White Paper on Contemporary Grading of Prostate Cancer. Arch Pathol Lab Med, 2021. 145(4): p. 461-493.
32. Epstein, J.I., An update of the Gleason grading system. J Urol, 2010. 183(2): p. 433-40.
33. Madabhushi, A., M.D. Feldman, and P. Leo, Deep-learning approaches for Gleason grading of prostate biopsies. Lancet Oncol, 2020. 21(2): p. 187-189.
34. Bejnordi, B.E., et al., Context-aware stacked convolutional neural networks for classification of breast carcinomas in whole-slide histopathology images. J Med Imaging (Bellingham), 2017. 4(4): p. 044504.
35. Niazi, M.K.K., et al., Identifying tumor in pancreatic neuroendocrine neoplasms from Ki67 images using transfer learning. PLoS One, 2018. 13(4): p. e0195621.
36. Tavolara, T., et al., Colorectal tumor identification by transferring knowledge from pan-cytokeratin to H&E. SPIE Medical Imaging. Vol. 10956. 2019: SPIE.
37. Yu, K.H., et al., Classifying non-small cell lung cancer types and transcriptomic subtypes using convolutional neural networks. J Am Med Inform Assoc, 2020. 27(5): p. 757-769.
38. Yang, J.W., et al., Classification of subtypes including LCNEC in lung cancer biopsy slides using convolutional neural network from scratch. Sci Rep, 2022. 12(1): p. 1830.
39. Kanavati, F., et al., A deep learning model for the classification of indeterminate lung carcinoma in biopsy whole slide images. Sci Rep, 2021. 11(1): p. 8110.
40. Sirinukunwattana, K., et al., Image-based consensus molecular subtype (imCMS) classification of colorectal cancer using deep learning. Gut, 2021. 70(3): p. 544-554.
41. Korbar, B., et al., Deep Learning for Classification of Colorectal Polyps on Whole-slide Images. J Pathol Inform, 2017. 8: p. 30.
42. Stålhammar, G., et al., Digital image analysis outperforms manual biomarker assessment in breast cancer. Mod Pathol, 2016. 29(4): p. 318-29.
43. Couture, H.D., et al., Image analysis with deep learning to predict breast cancer grade, ER status, histologic subtype, and intrinsic subtype. NPJ Breast Cancer, 2018. 4: p. 30.
44. Jiang, Y., et al., Breast cancer histopathological image classification using convolutional neural networks with small SE-ResNet module. PLoS One, 2019. 14(3): p. e0214587.
45. Woerl, A.C., et al., Deep Learning Predicts Molecular Subtype of Muscle-invasive Bladder Cancer from Conventional Histopathological Slides. Eur Urol, 2020. 78(2): p. 256-264.
46. Walther, A., et al., Genetic prognostic and predictive markers in colorectal cancer. Nat Rev Cancer, 2009. 9(7): p. 489-99.
47. Voon, P.J. and H.L. Kong, Tumour genetics and genomics to personalise cancer treatment. Ann Acad Med Singap, 2011. 40(8): p. 362-8.
48. Coudray, N., et al., Classification and mutation prediction from non-small cell lung cancer histopathology images using deep learning. Nat Med, 2018. 24(10): p. 1559-1567.
49. Zhong, Y., et al., Deep Learning for Prediction of N2 Metastasis and Survival for Clinical Stage I Non-Small Cell Lung Cancer. Radiology, 2022. 302(1): p. 200-211.
50. Kim, R.H., et al., Deep Learning and Pathomics Analyses Reveal Cell Nuclei as Important Features for Mutation Prediction of BRAF-Mutated Melanomas. J Invest Dermatol, 2022. 142(6): p. 1650-1658.e6.
51. Liang, C.W., et al., Deep Convolutional Neural Networks Detect Tumor Genotype from Pathological Tissue Images in Gastrointestinal Stromal Tumors. Cancers (Basel), 2021. 13(22).
52. Bibi, N., et al., IoMT-Based Automated Detection and Classification of Leukemia Using Deep Learning. J Healthc Eng, 2020. 2020: p. 6648574.
53. Zhang, Z., et al., The Diagnosis of Chronic Myeloid Leukemia with Deep Adversarial Learning. Am J Pathol, 2022. 192(7): p. 1083-1091.
54. Sakellaropoulos, T., et al., A Deep Learning Framework for Predicting Response to Therapy in Cancer. Cell Rep, 2019. 29(11): p. 3367-3373.e4.
55. Song, J.H., et al., Utility of artificial intelligence with deep learning of hematoxylin and eosin-stained whole slide images to predict lymph node metastasis in T1 colorectal cancer using endoscopically resected specimens; prediction of lymph node metastasis in T1 colorectal cancer. J Gastroenterol, 2022. 57(9): p. 654-666.
56. Ali, H.R., et al., Lymphocyte density determined by computational pathology validated as a predictor of response to neoadjuvant chemotherapy in breast cancer: secondary analysis of the ARTemis trial. Annals of Oncology, 2017. 28(8): p. 1832-1835.
57. Jiao, Y.P., et al., Deep emb e ddings and logistic regression for rapid active learning in histopathological images. Computer Methods and Programs in Biomedicine, 2021. 212.
58. Amgad, M., et al., Explainable nucleus classification using Decision Tree Approximation of Learned Embeddings. Bioinformatics, 2022. 38(2): p. 513-519.
59. Fan, J., J. Lee, and Y. Lee, A Transfer Learning Architecture Based on a Support Vector Machine for Histopathology Image Classification. Applied Sciences-Basel, 2021. 11(14).
60. Seo, H., et al., Scaling multi-instance support vector machine to breast cancer detection on the BreaKHis dataset. Bioinformatics, 2022. 38(SUPPL 1): p. 92-100.
61. Battineni, G., et al., Applications of Machine Learning Predictive Models in the Chronic Disease Diagnosis. Journal of Personalized Medicine, 2020. 10(2).
62. Abels, E., et al., Computational pathology definitions, best practices, and recommendations for regulatory guidance: a white paper from the Digital Pathology Association. Journal of Pathology, 2019. 249(3): p. 286-294.
63. Rudin, C., Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 2019. 1(5): p. 206-215.
64. Jaume, G., et al. Quantifying Explainers of Graph Neural Networks in Computational Pathology. in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021.
65. Zhang, Z., et al., Pathologist-level interpretable whole-slide cancer diagnosis with deep learning. Nature Machine Intelligence, 2019. 1(5): p. 236-245.
66. Di, D., et al., Big-Hypergraph Factorization Neural Network for Survival Prediction From Whole Slide Image. IEEE Trans Image Process, 2022. 31: p. 1149-1160.
67. Niazi, M.K.K., A.V. Parwani, and M.N. Gurcan, Digital pathology and artificial intelligence. Lancet Oncol, 2019. 20(5): p. e253-e261.
68. Campanella, G., et al., Clinical-grade computational pathology using weakly supervised deep learning on whole slide images. Nat Med, 2019. 25(8): p. 1301-1309.
69. Lee, S., et al., A deep learning and similarity-based hierarchical clustering approach for pathological stage prediction of papillary renal cell carcinoma. Computational and Structural Biotechnology Journal, 2020. 18: p. 2639-2646.
70. Lu, M.Y., et al., Data-efficient and weakly supervised computational pathology on whole-slide images. Nat Biomed Eng, 2021. 5(6): p. 555-570.
71. Tavolara, T.E., M.N. Gurcan, and M.K.K. Niazi, Contrastive Multiple Instance Learning: An Unsupervised Framework for Learning Slide-Level Representations of Whole Slide Histopathology Images without Labels. Cancers (Basel), 2022. 14(23).
72. Liao, J., et al., Artificial intelligence assists precision medicine in cancer treatment. Front Oncol, 2022. 12: p. 998222.
73. Bulten, W., et al., Automated deep-learning system for Gleason grading of prostate cancer using biopsies: a diagnostic study. Lancet Oncol, 2020. 21(2): p. 233-241.
74. Bokhorst, J.-M., et al., Learning from sparsely annotated data for semantic segmentation in histopathology images, in Proceedings of The 2nd International Conference on Medical Imaging with Deep Learning, M.J. Cardoso, et al., Editors. 2019, PMLR: Proceedings of Machine Learning Research. p. 84--91.
75. Barisoni, L. and X.R. Luo, Clinical-grade Computational Pathology Using Weakly Supervised Deep Learning on Whole Slide Images. Transplantation, 2019. 103(11): p. 2213-2214.
76. Gadermayr, M., et al., Unsupervisedly Training GANs for Segmenting Digital Pathology with Automatically Generated Annotations, in Proceedings of The 2nd International Conference on Medical Imaging with Deep Learning, M.J. Cardoso, et al., Editors. 2019, PMLR: Proceedings of Machine Learning Research. p. 175--184.
77. Wang, T., et al., Method for processing distributed crowdsourcing road data in electronic device, involves dividing trajectory and lane line data into regions to obtain partition data, and distributing partition data to devices, and splicing partition data. Wuhan Zhonghaiting Data Technology Co (Samo-C).
78. Wu, Y.W., et al., Recent Advances of Deep Learning for Computational Histopathology: Principles and Applications. Cancers, 2022. 14(5).
79. Tellez, D., et al., Quantifying the effects of data augmentation and stain color normalization in convolutional neural networks for computational pathology. Medical Image Analysis, 2019. 58.
80. Akram, S.U., et al. Cell Segmentation Proposal Network for Microscopy Image Analysis. in Deep Learning and Data Labeling for Medical Applications. 2016. Cham: Springer International Publishing.
81. Naylor, P., et al., Segmentation of Nuclei in Histopathology Images by Deep Regression of the Distance Map. Ieee Transactions on Medical Imaging, 2019. 38(2): p. 448-459.
82. Zhao, B.C., et al., Triple U-net: Hematoxylin-aware nuclei segmentation with progressive dense feature aggregation. Medical Image Analysis, 2020. 65.
83. Liu, Y.F., et al., Pathological prognosis classification of patients with neuroblastoma using computational pathology analysis. Computers in Biology and Medicine, 2022. 149.
84. Javed, S., et al., Multi-level feature fusion for nucleus detection in histology images using correlation filters. Computers in Biology and Medicine, 2022. 143.
85. Eykholt, K., et al. Robust Physical-World Attacks on Deep Learning Visual Classification. in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018.
86. Laleh, N.G., et al., Adversarial attacks and adversarial robustness in computational pathology. Nature Communications, 2022. 13(1).
87. Gutman, D.A., et al., Cancer Digital Slide Archive: an informatics resource to support integrated in silico analysis of TCGA pathology data. J Am Med Inform Assoc, 2013. 20(6): p. 1091-8.
88. Echle, A., et al., Deep learning in cancer pathology: a new generation of clinical biomarkers. Br J Cancer, 2021. 124(4): p. 686-696.
89. Howard, F.M., et al., The impact of site-specific digital histology signatures on deep learning model accuracy and bias. Nat Commun, 2021. 12(1): p. 4423.
90. Komura, D. and S. Ishikawa, Machine Learning Methods for Histopathological Image Analysis. Comput Struct Biotechnol J, 2018. 16: p. 34-42.
91. Kothari, S., et al., Removing batch effects from histopathological images for enhanced cancer diagnosis. IEEE J Biomed Health Inform, 2014. 18(3): p. 765-72.
92. Roy, S., et al., A study about color normalization methods for histopathology images. Micron, 2018. 114: p. 42-61.
93. Yamashita, R., et al., Learning Domain-Agnostic Visual Representation for Computational Pathology Using Medically-Irrelevant Style Transfer Augmentation. IEEE Trans Med Imaging, 2021. 40(12): p. 3945-3954.
94. Shi, J.Y., et al., Exploring prognostic indicators in the pathological images of hepatocellular carcinoma based on deep learning. Gut, 2021. 70(5): p. 951-961.
95. Zhang, Z., et al., Bag of Freebies for Training Object Detection Neural Networks. ArXiv, 2019. abs/1902.04103.
96. Saillard, C., et al., Predicting Survival After Hepatocellular Carcinoma Resection Using Deep Learning on Histological Slides. Hepatology, 2020. 72(6): p. 2000-2013.
97. Marini, N., et al., Multi-Scale Task Multiple Instance Learning for the Classification of Digital Pathology Images with Global Annotations, in Proceedings of the MICCAI Workshop on Computational Pathology, A. Manfredo, et al., Editors. 2021, PMLR: Proceedings of Machine Learning Research. p. 170--181.
98. Anam, D.A., L. Novamizanti, and S. Rizal. Classification of Retinal Pathology via OCT Images using Convolutional Neural Network. in 2021 International Conference on Computer System, Information Technology, and Electrical Engineering (COSITE). 2021.
99. Lu, M.Y., et al., Data-efficient and weakly supervised computational pathology on whole-slide images. Nature Biomedical Engineering, 2021. 5(6): p. 555-+.
100. Pang, S.C., et al., VGG16-T: A Novel Deep Convolutional Neural Network with Boosting to Identify Pathological Type of Lung Cancer in Early Stage by CT Images. International Journal of Computational Intelligence Systems, 2020. 13(1): p. 771-780.
101. Lu, M.Y., et al., Federated learning for computational pathology on gigapixel whole slide images. Medical Image Analysis, 2022. 76.
102. Kelly, C.J., et al., Key challenges for delivering clinical impact with artificial intelligence. BMC Med, 2019. 17(1): p. 195.
103. Madabhushi, A. and G. Lee, Image analysis and machine learning in digital pathology: Challenges and opportunities. Med Image Anal, 2016. 33: p. 170-175.
104. Ching, T., et al., Opportunities and obstacles for deep learning in biology and medicine. J R Soc Interface, 2018. 15(141).
105. Pashkov, V.M., A.O. Harkusha, and Y.O. Harkusha, ARTIFICIAL INTELLIGENCE IN MEDICAL PRACTICE: REGULATIVE ISSUES AND PERSPECTIVES. Wiad Lek, 2020. 73(12 cz 2): p. 2722-2727.
106. Seegerer, P., et al., Interpretable Deep Neural Network to Predict Estrogen Receptor Status from Haematoxylin-Eosin Images, in Artificial Intelligence and Machine Learning for Digital Pathology: State-of-the-Art and Future Challenges, A. Holzinger, et al., Editors. 2020, Springer International Publishing: Cham. p. 16-37.
107. Diao, J.A., et al., Human-interpretable image features derived from densely mapped cancer pathology slides predict diverse molecular phenotypes. Nat Commun, 2021. 12(1): p. 1613.
108. Kompa, B., J. Snoek, and A.L. Beam, Second opinion needed: communicating uncertainty in medical machine learning. NPJ Digit Med, 2021. 4(1): p. 4.
109. Wang, H. and D.Y. Yeung, Towards Bayesian Deep Learning: A Framework and Some Existing Methods. IEEE Transactions on Knowledge and Data Engineering, 2016. 28(12): p. 3395-3408.
110. Thiagarajan, P., P. Khairnar, and S. Ghosh Explanation and Use of Uncertainty Quantified by Bayesian Neural Network Classifiers for Breast Histopathology Images. 2020. arXiv:2010.12575 DOI: 10.48550/arXiv.2010.12575.
111. Abdar, M., et al., Uncertainty quantification in skin cancer classification using three-way decision-based Bayesian deep learning. Comput Biol Med, 2021. 135: p. 104418.
112. Danaee, P., R. Ghaeini, and D.A. Hendrix, A DEEP LEARNING APPROACH FOR CANCER DETECTION AND RELEVANT GENE IDENTIFICATION. Pac Symp Biocomput, 2017. 22: p. 219-229.
113. Ektefaie, Y., et al., Integrative multiomics-histopathology analysis for breast cancer classification. NPJ Breast Cancer, 2021. 7(1): p. 147.
114. Veta, M., et al., Predicting breast tumor proliferation from whole-slide images: The TUPAC16 challenge. Med Image Anal, 2019. 54: p. 111-121.
115. Veta, M., Corrigendum to "Predicting breast tumor proliferation from whole-slide images: The TUPAC16 challenge" [Medical Image Analysis, 54 (2019) 111--121]. Med Image Anal, 2019. 56: p. 43.
116. Chereda, H., et al., Explaining decisions of graph convolutional neural networks: patient-specific molecular subnetworks responsible for metastasis prediction in breast cancer. Genome Med, 2021. 13(1): p. 42.
117. Fu, Y., et al., Pan-cancer computational histopathology reveals mutations, tumor composition and prognosis. Nat Cancer, 2020. 1(8): p. 800-810.
118. Kann, B.H., et al., Multi-Institutional Validation of Deep Learning for Pretreatment Identification of Extranodal Extension in Head and Neck Squamous Cell Carcinoma. J Clin Oncol, 2020. 38(12): p. 1304-1311.
119. Guan, Q., et al., Deep convolutional neural network VGG-16 model for differential diagnosing of papillary thyroid carcinomas in cytological images: a pilot study. J Cancer, 2019. 10(20): p. 4876-4882.
120. Nagpal, K., et al., Erratum: Publisher Correction: Development and validation of a deep learning algorithm for improving Gleason scoring of prostate cancer. NPJ Digit Med, 2019. 2: p. 113.
121. Nagpal, K., et al., Development and validation of a deep learning algorithm for improving Gleason scoring of prostate cancer. NPJ Digit Med, 2019. 2: p. 48.
122. Park, S., et al., Artificial Intelligence-Powered Spatial Analysis of Tumor-Infiltrating Lymphocytes as Complementary Biomarker for Immune Checkpoint Inhibition in Non-Small-Cell Lung Cancer. J Clin Oncol, 2022. 40(17): p. 1916-1928.
123. Echle, A., et al., Clinical-Grade Detection of Microsatellite Instability in Colorectal Tumors by Deep Learning. Gastroenterology, 2020. 159(4): p. 1406-1416.e11.
124. Huang, B., et al., Accurate diagnosis and prognosis prediction of gastric cancer using deep learning on digital pathological images: A retrospective multicentre study. EBioMedicine, 2021. 73: p. 103631.
125. Wang, Y., et al., DEMoS: a deep learning-based ensemble approach for predicting the molecular subtypes of gastric adenocarcinomas from histopathological images. Bioinformatics, 2022. 38(17): p. 4206-4213.
126. Wang, C.W., et al., A Weakly Supervised Deep Learning Method for Guiding Ovarian Cancer Treatment and Identifying an Effective Biomarker. Cancers (Basel), 2022. 14(7).
127. Ho, D.J., et al., Deep Interactive Learning-based ovarian cancer segmentation of H&E-stained whole slide images to study morphological patterns of BRCA mutation. J Pathol Inform, 2023. 14: p. 100160.
128. Wu, M., et al., Automatic classification of ovarian cancer types from cytological images using deep convolutional neural networks. Biosci Rep, 2018. 38(3).
129. Jiménez-Sánchez, D., et al., Weakly supervised deep learning to predict recurrence in low-grade endometrial cancer from multiplexed immunofluorescence images. NPJ Digit Med, 2023. 6(1): p. 48.
130. Choi, S., et al., Artificial intelligence-powered programmed death ligand 1 analyser reduces interobserver variation in tumour proportion score for non-small cell lung cancer with better prediction of immunotherapy response. Eur J Cancer, 2022. 170: p. 17-26.
131. Feng, L., et al., Development and validation of a radiopathomics model to predict pathological complete response to neoadjuvant chemoradiotherapy in locally advanced rectal cancer: a multicentre observational study. Lancet Digit Health, 2022. 4(1): p. e8-e17.
132. Bychkov, D., et al., Deep learning identifies morphological features in breast cancer predictive of cancer ERBB2 status and trastuzumab treatment efficacy. Sci Rep, 2021. 11(1): p. 4037.
133. Yang, Y., et al., Identification and Validation of Efficacy of Immunological Therapy for Lung Cancer From Histopathological Images Based on Deep Learning. Front Genet, 2021. 12: p. 642981.
134. Johannet, P., et al., Using Machine Learning Algorithms to Predict Immunotherapy Response in Patients with Advanced Melanoma. Clin Cancer Res, 2021. 27(1): p. 131-140.