深度学习与影像自动化评估的肾肿瘤剜除术 难度预分析
刘云鹏1，吴铁林2*，蔡文立3，王仁芳4，孙德超4，干开丰2，李瑾4，金冉4，邱虹4，徐惠霞4
（1. 宁波工程学院国交学院，宁波 315000；2. 宁波大学附属李惠利医院，宁波 315000；3. 哈佛医学院放射学图像实验室，波士顿 02114，美国；4. 浙江万里学院，宁波 315000）
摘要：目的 早期肾癌可以通过肾肿瘤剜除术进行有效治疗，为了降低手术难度和减少手术并发症，需要对手术的难度进行合理有效的评估。本文将深度学习、医学影像组学和图像分析技术进行结合，提出一种基于 CT（com‐ puted tomography）影像的肾肿瘤剜除术难度自动评估方法。 方法 首先建立一个级联的端到端分割模型对肾脏、肾肿瘤和腹壁同时进行分割，同时融入子像素卷积与注意力机制，保证了小体积肿瘤分割的精确性；然后使用影像组学特征对误判的肾肿瘤进行去除；最后依据分割结果，采用国际标准的梅奥肾周粘连概率（Mayo adhesive probabil‐ ity，MAP）评分和 R. E. N. A. L 评分对肾脏和肾肿瘤进行自动化的评估计算，并根据计算结果得出肾肿瘤剜除术难度。 结果 将实验的自动化评估结果与三甲医院泌尿科的3位医疗专家的结果进行对比，从预测的平均结果来看，超过两个专家，与最好的专家相差仅0. 1%。平均预测时间，单个肿瘤约为244 ms，标准差只有8 ms，专家评估时间 约为26 s，标准差在3 s左右，自动评估速度是人工的108倍左右。 结论 自动化评估结果整体上与专家评估水平基本一致，同时评估速度更加快速稳定，可以有效替代专家进行自动化评估，为术前准确诊断、手术方案个体化规划和手术入路选择提供准确可靠的决策支持，给手术难度诊断评估提供智能化的医疗解决方案。
引言
越来越多的研究证实，腹腔镜下NSS在肾功能保护和肿瘤预后方面与开放手术相当。虽然随着腹腔镜和达芬奇机器人等器械质量的不断改进和提高，以及手术医师技术的不断熟练，使得手术并发症正在逐渐降低，但是患者个体差异带来的手术难度导致的相关并发症仍不可忽视。总体来说，患者个体差异相关的手术难度主要包括两个方面，一是肾周脂肪的厚度以及黏连程度；二是肿瘤的大小以及在肿瘤处在肾脏的位置。前者增加了术中游离肾脏的难度，后者决定了肿瘤切除和缝合的难度。为了量化上述两个难度指标，研究人员分别提出了梅奥肾周粘连概率（Mayo adhesive probability，MAP）评分（Davidiuk等，2014）和R.E.N.A.L评分（Kutikov和Uzzo，2009）。
但是，上述两种评分仅提供了肾肿瘤剜除术难度的评分标准，在当前实际应用时，需要医生主观分析CT影像后，再对照这两种评分标准大致估算出相应的难度分数。这种人工评估方法费时费力，且受医生主观性影响，评估准确性和可靠性难以保证。因此，迫切需要一种省时省力、评估准确性和可靠性都很高的自动评估方法。
本文提出一种将深度学习、医学影像组学和图像分析技术结合的自动化方法对肾肿瘤剜除术难度进行评估。本文主要贡献如下：1）利用肿瘤、肾盂、肾脏、腹壁四者之间的关联性自动计算MAP评分和R.E.N.A.L评分，对肾肿瘤剜除术难度进行合理有效的评估，目前在已知研究范围内，未见任何国内外相关技术文献；2）采用人工智能与图像分析技术对腹壁、肾脏和肾肿瘤三者同时进行分割，目前已有的一些技术只是肾脏与肿瘤的同时分割，并没有同时对腹壁也进行有效的分割技术文献；3）结合医学影像组学在3维空间获取异构纹理特征的优势，可以对假阳性肾肿瘤区域进行去除。
本研究与三级甲等的宁波市医疗中心李惠利医院进行合作，并积极开展试用。该系统方法可以应用于医院的影像科与泌尿科，为术前准确诊断、手术方案个体化规划和手术入路选择提供有临床医学价 值的决策数据，并进一步降低患者个体差异带来的手术并发症。同时也可以在各种医疗研究机构中开展手术仿真与学术科研应用。
1 相关工作
MAP评分是2014年美国泌尿外科学者Davidiuk Andrew J提出的（Davidiuk等，2014），主要由两部分组成。
1）CT片上肾静脉水平后腹壁到肾包膜的最短距离，如图1中P值所示。该距离 P <1.0 cm计0分，在 1.0～1.9 cm之间计1分， P ≥ 2.0 cm计2分。
2）肾周条索状结构表现，即肾周围呈条索状的一层膜，如图2所示。没有条索状结构计0分，轻中度条索状改变计2分，重度条索状改变计3分。通过计算两者得分之和，评估肾周脂肪黏连程度。Kutikov和Uzzo（2009）第一次提出R.E.N.A.L评分。如图3（a）（b）都包括两个肿瘤，图3（c）包括3个肿瘤，下面对图例进行详细说明描述。
“R”，即Radius，指任何平面的肿瘤最大径，如果≤ 4 cm 计1分；> 4 cm但<7 cm 计2分；≥7 cm 计3分。图例1中，两个肿瘤都≤4 cm；图例2中，两个肿瘤都>4 cm但<7 cm；图例3中，肿瘤b≥7 cm。
“E”，即Exophytic，指肿瘤的外凸率，肿瘤外凸率≥50% 计1分；<50%计2分；肿瘤完全内生计3分。图例1中，下面位置肿瘤的外凸率≥50%；图例2中，下面位置肿瘤的外凸率<50%，上面位置肿瘤完全内生；图例3中，最上位置肿瘤外凸率≥50%，中间位置肿瘤完全内生，最下位置肿瘤<50%。
“N”，即Nearness，指肿瘤最深处接近肾窦的程度；≥7 mm计1分；≥4 mm但<7 mm计2分；<4 mm计3分。图例1中，肿瘤距离肾窦较远，都≥7 mm；图例2中，肿瘤都在4～7 mm之间；图例3中，最下方肿瘤<4 mm。
“A”，即Anterior，指肿瘤位于肾腹侧或背侧，不影响计分，无需描述。
“L”，即Location，指肿瘤和肾脏上下两极线的关系，肿瘤完全位于极线以上或以下计1分；少部分瘤体穿过极线计2分；超过50%的瘤体穿过极线或瘤体完全位于上下极线之间或瘤体穿过中轴线均计3分。图例1 中，两个肿瘤完全在极线以上或以下；图例2中，两个肿瘤被极线少量穿过；图例3中，肿瘤c完全位于极线之间内部。
每个肾肿瘤剜除术的难度取决于MAP和R.E.N.A.L评分的总和，如果分值之和≤5分，是低难度；如果分值之和>5分且≤10分，是中等难度；如果分值之和>10分，是高难度。
根据上述分析可以得知，CT影像中肾脏、肾肿瘤和腹壁的精确分割是自动化进行MAP评分和R.E.N.A.L评分的关键。当前CT医学影像分割的主要技术依然是深度学习技术，有代表性的分割方法包括全卷积网络（fully convolutional network，FCN）（Shelhamer等，2017）和 U-Net 网络（Ronneberger等，2015；周涛等，2021），由于CT是时间轴上连续多个2D图像的组合，所以可以使用3D卷积神经网络进行分割，主要包括基于U-Net在3D空间扩展的3D U-Net（Çiçek等，2016）和 V-Net（Milletari 等，2016），当然，FCN 也可以方便地扩展到3D空间成为3DFCN。
近年来，对于CT影像中肾脏和肾肿瘤的分割提出了多种方法。Yu等人（2020）针对FCN在CT医疗图像中分割不准确的问题，采用Jaccard相似系数，将边缘的优化问题转为回归问题进行处理，从而达到边缘逐层优化，更加精确地找到器官和肿瘤的边界。Guo等人（2021）在U-Net 中加入注意力模型后进行分割。在使用3D空间分割方面，Yan等人（2020）将传统卷积神经网络与点云网络进行结合，先使用经典的 V-Net 模型进行初次分割，进一步结合离散点云分割网络细化分割结果。Fatemeh等人（2020）将集成学习与3D U-Net分割模型进行结合，使用多种 U-Net 的集成学习方法来提高分割精度。Yang等人（2022）使用多尺度的残差3D-FCN进行分割。时永刚等人（2017）结合FCN和GrowCut技术对肾脏中的肾皮质部分进行分割。
CT不仅是3D空间上的图像分布，同时也存在前后的时序关系，对于有时序关系的数据可以使用循环神经网络（recurrent neural network，RNN）进行处理，在RNN中使用最为广泛的是长短期记忆网络（long short-term memory，LSTM）。Kang等人（2022）将3D-CNN与LSTM进 行结合，采用一种3D卷积LSTM进行肾脏与肿瘤的分割。近年来，对于CT等医学影像分割的另一个热点是生成对抗网络（gen‐ erative adversarial network，GAN）（Goodfellow等，2014）。Ruan等人（2020a）采用特征共享的GAN进行分割。He等人（2021）将多条件的GAN与集成学习进行结合，设计一种对抗权重集成的分割模型。Ruan等人（2020b）则采用多任务非确定限制的GAN实现有效准确的分割。Rezaei等人（2020）将GAN与RNN进行结合后，可以对多种医学图像进行分割。Yang等人（2020）则利用GAN技术设计出一种通用的医学图像分割框架。除此之外，对于CT中肾脏和肿瘤的分割，Qin等人（2020）使用深度强化学习进行数据增广，保证了样本的充分性与多样性，从而提升分割性能。Yu等人（2019）则针对CT医学图像中经常出现的模糊和形状多变等问题，采用一种全新的Crossbar-Net深度神经网络进行分割处理。
医学影像组学是指在各种医学影像中分析恶性肿瘤的形状、梯度、纹理和边界等非侵袭的基于影像的生物标志物，该项研究不断取得突破，也证明了肿瘤病理性特征以及相关基因特性与影像组学特征存在一定的关联（Aerts 等，2014）。近年来，医学影像数据量不断增大，影像组学也逐步成为支撑智慧医疗和精准医疗的重要技术（Lambin等，2017）。对于传统的影像组学，生物标志物特征都是通过设计好的特征提取算法实现，深度学习则可以自动提取医学影像特征作为影像组学特征的一部分（Afshar等，2019；Parekh和Jacobs，2019；Yang等，2019），这使得影像组学的特征会更加的丰富和精准。需要关注的是，对于影像中分割的肿瘤区域，由于形态差异性较大，无法使用统一的深度学习模型进行特征的提取，所以设计好的影像组学特征提取算法更适合获取到肿瘤区域区别于正常区域的异构特征，从而有效合理地识别出非肿瘤区域。
在可知的研究范围内，没有基于CT进行腹壁分割的技术文献，也没有肾脏、肾肿瘤和腹壁同时进行分割的技术文献。当然，对于上述描述的一些分割方法，在稍做调整或改进后也可以用于肾脏、肾肿瘤和腹壁 的分割，同时在图像分割领域，Zhou等人 （2018）的 U-Net++ ，Chen 等 人（2018）的 Deep‐ LabV3+，He 等人（2017）的 Mask RCNN 和 Chen 等人 （2020）的 BlendMask 等优秀的分割模型依然可以有 效应用。本文利用深度学习、机器学习和医学影像组学的方法对CT影像中的肾脏、肾肿瘤和腹壁同时进行分割，并以此为基础，结合图像分析技术计算出MAP和R.E.N.A.L分值，对肾肿瘤剜除术难度进行自动评估。
2 研究方法
2. 1 系统概述
研究的整个过程包括4个步骤：1）腹部CT中肾脏、肾肿瘤和腹壁的同时分割；2）MAP评分计算；3）R.E.N.A.L 评分计算；4）肾肿瘤剜除术难度评估。如图4所示。
对于腹部CT中肾脏、肾肿瘤和腹壁的同时分割，深度学习模型如图 5 所示，采用级联的模式对3个对象同时进行分割，去除肾肿瘤假阳性的分类模型如图 6所示，整个预测分割过程如图7所示，对于最后一步的3D可视化与此研究无关，只是为了更加清晰地表达整个研究流程。
2. 2 分割方法
图5中所描述的扩展U-Net如图8所示，为了表达U-Net的网络结构，这里以独立的分割肾脏区域为例。可以看出，扩展U-Net采用5层网络结构，基本框架形式与传统的U-Net（Ronneberger 等，2015）保持一致，由编码层和解码层组成，编码层中的卷积层和DenseNet-169（Huang 等，2017）保持一致，每个卷积块包括4个密集连接块和3个变换层，输出通道为 32。在扩展U-Net中，密集连接不仅体现在编码层的卷积块中，同时还体现在编码层和解码层同层之间，以及上下层之间。这种3个层面上的密集连接使得训练中可以获取更多的语义连接和传递更多的信息，使整体梯度流可以有效增强，同时全局最优解更容易被找到。
解码层采用 Isola 等人（2017）提出的上采样方法，为了避免上采样过程中过多纹理细节的损失，使用子像素卷积模式（Shi 等，2016），该方法可以将多个低分辨率特征图像通过打乱像素次序（pixel shuffle）的方式来生成更高分辨率图像，如图 9 所示。
在图8的扩展U-Net结构中，可以看到每一层的连接中都包含一个注意门（attention gate，AG），这里使用一种医学影像模式下的AG（Oktay等，2018），该 AG不仅可以关注形态差异较大的肿瘤对象，还可以 对卷积中特征容易弱化和消失的小肿瘤进行有效的分割性能提升。Oktay等人（2018）采用三维卷积，将输入中的参数 D 去除后，同时将三维的 1 × 1 × 1 卷积核修改为 1 × 1 以适用于在训练过程中学习到二维空间像素的重要度，从而突出医学图像中感兴趣区域，同时有效抑制无关区域，结构如图10所示。
对于 3 层的级联分割结构，每一层都使用上述相同的扩展 U-Net进行分割，腹壁分割在上层，中间层是肾脏分割，下层是肾肿瘤。这样分层，是因为有一种空间约束关系的学习过程，腹壁的分割预测结果作为肾脏分割训练的输入条件，因为肾脏相对于腹壁的空间位置是比较固定的，同样的道理，肾肿瘤只存在于肾脏内部或边缘区域，就是说肾肿瘤依赖于肾脏的空间位置，所以用肾脏的预测分割结果作为肾肿瘤分割训练的输入条件。在整个级联训练过程中，腹壁分割训练只是输入腹部 CT 影像，肾脏分割训练在输入 CT 影像的同时又输入腹壁分割预测结果的概率图，肾肿瘤分割训练在输入CT影像的同时又输入肾脏分割预测结果的概率图。
使用训练后模型对腹壁、肾脏和肾肿瘤分割的结果是每个对象对应分割图像中像素属于对象的概率，为了转为灰度图像，需要将概率值乘以255转为灰度像素值，即转为预测的分割灰度图，接着采用自适应二值化操作将灰度图转为二值图，从而转为预测的分割掩码图，白色表示感兴趣的分割对象，黑色为背景图像。由于预测的是概率值，所以形成的分割掩码图中的感兴趣对象会有不连续的空间，同时在背景图像中也会存在少量的空洞，为了让对象空间连续，同时消除空洞区域，需要进行形态学操作，使用3 × 3的卷积核先做腐蚀操作两次，再做膨胀操作两次，腐蚀操作为了消除空洞区域，膨胀操作为了使感兴趣对象区域空间连续化。
由于肿瘤形状的不规则性，部分较小肿瘤在二维图像上的分布区域会更小，在形态学操作中会被误认为是细小空洞被腐蚀掉，如图11所示，腹部 CT 图像在短时间内是连续变化的，所以连续图像之间有着非常强的时间和空间相关性，利用这种相关性，通过时间上前后图像预测的方式，可以将少量单帧图像中丢失的肿瘤区域通过平均值的方式预测出来。
2. 3 去除假阳性
2. 3. 1 设置训练样本
在与合作医院收集的CT影像中，通过影像科与泌尿科专家对肾肿瘤进行了三维的分割标注，标注的三维肾肿瘤区域为阳性样本，根据设置好的二值掩码图可以提取出来。对于需要识别的假阳性肾肿瘤区域，都是存在于肾脏内部或边缘，不可能出现肾脏以外的区域，所以对于阴性样本的提取只是正常的肾脏内部区域与边缘区域两个部分。
为了使采集的阴性样本在数量与形态上和阳性样本尽量保持一致，需要对已有的阳性样本进行统计，从统计结果来看，肿瘤体积为均匀分布，不同体积大小的数量基本一致，同时 85% 左右的肿瘤呈现近似的球体，基于该统计结果，采样的阴性样本体积也按照均匀分布，形状全部按照三维的球形区域采样，在后面的实验中，证明该采样方法是实用可行的，训练的模型有非常高的分类正确率和召回率。由于阴性样本采样的数量比较大，通过医学图像软件人工标注的方式难以切实可行。本文设计一种自动的阴性样本采样算法如下：
1）设置CT影像总数为n；
2）输入第i个病人的CT影像，如果i≤n，继续步骤3），否则结束阴性样本采样处理；
3）设置初始采样次数c=0，采样范围b=2，每次步长变化s=2，单位为像素；
4）随机选择两个肾脏中的一个内部正常区域像素为种子值；
5）随机选择两个肾脏中的一个边缘正常像素为种子值；
6）采样三维球形空间区域：种子为球心，半径为r；
7）对采样空间区域像素进行判断，如果肿瘤像素数量比例>0.10或肾脏外部像素数量比例>0.25，表示该次采样失败，放弃采样结果，否则保留阴性样本；
8）累计采样次数c=c+1，如果c超出150，转到步骤9）否则转到步骤4）；
9）按照设置的步长增加采样范围的半径，r=r + s，如果r≤50转到步骤4），否则转到步骤2）。根据上述算法中r和s的参数设置值，可以算出采样体积有25种，为了保持与阳性样本体积数量一致的均匀分布，按照阴性样本总数量为1 000，则每个体积的数量为40，其中随机选择肾脏边缘种子像素生成的样本为24，肾脏内部种子像素生成的样本为16，这是因为肾脏边缘部位相邻其他身体组织器官，表现出比正常肾脏内部图像更强的异构性，容易被误识别为肿瘤区域，所以边缘阴性样本的数量会偏高一些。
2. 3. 2 计算影像组学特征
影像组学特征作为一种高维非侵袭的影像生物标志物，可以挖掘、量化和分析肉眼无法识别的恶性肿瘤深层次的特征，本文研究中，会计算出7组影像组学特征，分别包括：灰度共生矩阵（gray level coocurrence matrix，GLCM）特征、直方统计特征、梯度特征、阶矩特征、行程长度（run length，RL）特征、边界特征和小波特征
1）GLCM特征。根据经验，此处bin数量值设置为128，根据特定空间像素对的频率计算出22个灰度空间相关性的纹理特征。
2）直方统计特征。计算肿瘤区域的均值、方差、能量、熵、峰度和偏度等直方分布统计特征。
3）梯度特征。使用三维正态分布卷积计算肿瘤区域梯度的均值与标准差。
4）阶矩特征。使用 3 个二阶中心矩不变量 J1， J2，J3。
5）RL 特征。生成 11 个 RL 矩阵并导出相关的纹理特征。
6）边界特征。仅在肿瘤边界5个像素区域内重新计算上述5种不同的特征值。
7）小波特征。 在肿瘤区域三维空间进行三维小波分解，根据高频与低频两两组合，在8种可能的组合中对上述特征进行小波空间内的计算。
通过以上方法，计算会产生721个影像组学特征。 但是对于总的样本数量训练有效的分类模型而言数量过多，需要进行特征选择。 首先对每个维度的特征数据进行均值0和标准差1的标准化操作； 其次计算每个维度特征的方差，对方差过小的特征进行去除； 接着计算两两特征之间的线性相关值与非线性相关值，超过相似度阈值的进行过滤； 然后进行 特征重要性排序，这里使用 7 种不同的方法进行排序，具体包括： 梯 度提升决策树（gradient boosting decision tree，GBDT）、随机森林（random forest，RF）、套索算法（least absolute shrinkage and selectionopera‐ tor，LASSO）回归、相关特征（relevant features， Relief）、过滤式 、递归特征消除（recursive feature elimination，RFE）和极限梯度提升（extreme gradient boosting，XGBoost），每种排序获取最重要的20个特征； 最后获取7组20个特征的交集，生成13个特征作为最终的肿瘤特征向量。
2. 4 自动化评估
获取需要进行肾肿瘤剜除术难度自动评估的病人腹部 CT 影像和使用分割模型分割好的一组肾脏预测分割掩码图、肾肿瘤预测分割掩码图和腹壁预测分割掩码图； 根据一组肾肿瘤预测分割掩码图确定患者的肾肿瘤的数量，记为 tn； 对 tn个肾肿瘤按照 1 到 tn随机编号，设定变量 j，初始化 j 的值为 1； 从一组肾肿瘤预测分割掩码图中获取第 j个肾肿瘤面积最大的一幅肾肿瘤预测分割掩码图，如果有肾肿瘤面积相同的两幅或两幅以上肾肿瘤预测分割掩码图，则获取对应 CT 图像扫描时间最早的，将该幅肾肿瘤预测分割掩码图记为 mt ； 获取 mt对应的 CT 图像，将该CT图像记为cc，将该 CT 图像对应的腹壁预测分割掩码图记为 mb； 根据一组肾脏预测分割掩码图和mt判断出第 j 个肾肿瘤是在左肾脏还是右肾脏。 如果为左肾脏，则保存mt中第 j 个肾肿瘤所在的左肾脏区域，作为第 j 个肾肿瘤所在肾脏区域的掩码图； 如果为右肾脏，则保存 mt中第 j个肾肿瘤所 在的右肾脏区域，作为第 j 个肾肿瘤所在肾脏区域 的掩码图，将第 j 个肾肿瘤所在肾脏区域的掩码图记为 mk； 根据 mk获取到肾脏的轮廓边缘线 ck、mt获取肾肿瘤轮廓边缘线 ct 、mb 获取腹 壁轮廓边缘线 cb。
2. 4. 1 MAP自动化评分
1）ck的左上角作为原点，上边缘向右延伸方向作为 x 轴正向，左边缘向下延伸方向作为 y 轴负向，构建二维坐标系，根据构建的二维坐标系，计算得到 ck中肾脏中心位置坐标；
2）在 ck中，根据肾脏中心位置坐标确定出过肾脏中心位置且与ck下边缘平行的直线；
3）计算出过肾脏中心位置且与ck下边缘平行的直线与肾脏轮廓边缘线的左交点（xl ，yl ）和右交点 （xr ，yr ），xl和 xr分别表示左交点和右交点在 x轴上的 x 值，yl和 yr分别表示左交点和右交点在 y 轴上的 y值；
4）确定将 xl与 xr之间的肾脏的轮廓边缘线平均分成 9份的 8个等分点，从而获取到以 xl开始到 xr结束的10个不同x值，根据这10个x值，计算出肾脏的轮廓边缘线对应的y值以及腹壁轮廓边缘线对应的 y值，从而确定肾脏的轮廓边缘线上的10个坐标值，以及腹壁轮廓边缘线上的10个坐标值；
5）计算肾脏轮廓边缘上 10 个坐标值中每个坐标值与腹壁轮廓边缘线上 10 个坐标值中每个坐标值之间的距离，得到100个距离值；
6）取100个距离值中的最小值，记为P'值；
7）从腹部 CT 影像附加信息中读取像素大小与实际距离的映射关系，根据映射关系计算出 P'值采 用cm作为单位的取值大小，记为P；
8）根据P的取值进行打分，如果<1.0 cm，则分值为0分；如果≥1.0 cm且<2.0 cm，则分值为1分；如果≥2.0 cm，则分值为2分 。
2. 4. 2 R.E.N.A.L自动化评分
1）R的自动计算。
（1）将肾肿瘤轮廓边缘线 ct从起始点到终点均匀分成19份，从而获取到20个分界点；计算20个分界点两两之间的所有距离。
（2）获取距离中的最大值，记为R'。
（3）从腹部CT影像附加信息中读取像素大小与实际距离的映射关系，根据映射关系计算出 R'值以 cm为单位的大小，记为R。
（4）根据R的值进行打分。如果≤4 cm，分值为 1分；如果>4 cm且 <7cm，分值为2分；如果≥7 cm， 分值为3分。
2）E的自动计算。
（1）根据mt计算出肾肿瘤面积，记为S1。
（2）根据 mt和 mk计算肾脏与肾肿瘤的交集面积，记为S2。
（3）令E的值为S2/S1，其中/为除运算符号。
（4）根据 E的值打分，如果 E = 1，则表示肿瘤完全内生，分值为 3分；如果 ≥ 50% 且<1，表示肿瘤部分外凸，分值为 2 分；如果<50%，表示肿瘤外凸显著，分值为3分。
3）N的自动计算。
（1）输入cc和mk，通过自适应阈值法自动分割出来肾盂，得到肾盂的预测分割掩码图，同时得到肾盂的轮廓边缘线。
（2）将肾肿瘤轮廓边缘线 ct从起始点到终点均分为19份，得到20个分界点。
（3）将肾盂的轮廓边缘线上也等分为 19 份，得到20个分界点。
（4）计算肾肿瘤轮廓边缘线 ct上的 20 个分界点中每个分界点与肾盂的轮廓边缘线上 20 个分界点 中每个分界点之间的距离，取所有距离中最小值 N'。
（5）从腹部CT影像附加信息中读取像素大小与实际距离的映射关系，根据映射关系计算出 N'值以 mm为单位的大小，记为N。
（6）根据 N 的值打分。如果 ≥ 7 mm，则分值为 1 分；如果 > 4 mm 且< 7 mm，则分值为 2 分；如果 ≤ 4 mm，则分值为3分。
4）L的自动计算。
（1）将 mk的左上角作为原点，上边缘向右延伸方向作为x轴正向，左边缘向下延伸方向作为y轴负向，构建二维坐标系，基于构建的二维坐标系，根据 肾盂的轮廓边缘线，计算出肾盂的轮廓边缘线最上端点坐标（x1，y1 ）与最下端点坐标（x2，y2 ）。
（2）取肾盂的轮廓边缘线中心点与最上端点中间位置（yk+y1 ）/2为上极线位置。
（3）取肾盂的轮廓边缘线中心点与最下端点中间位置（yk+y2）/2为下极线位置。
（4）根据上极线位置和下极线位置与 mk计算出上极线位置和下极线位置中间区域面积S3。
（5）如果S3与S1无交集，则判断肾肿瘤完全位于上极线位置以上或下极线位置以下，分值为1分；如果存在交集，且其交集面积 ≥ 肾肿瘤面积S1的50%，分值为3分；如果存在交集，且其交集面积 < 肾肿瘤 面积 S1的 50%，此时将位于上极线位置与下极线位置之间、纵坐标等于上极线位置与下极线位置纵坐标之和的一半且平行于上极线位置或下极线位置的直线称为中轴线，如果该中轴线的纵坐标在肾肿瘤区域最大纵坐标与最小纵坐标之间，则判定中轴线穿过肾肿瘤，分值为 3分，否则分值为 2分。上极线位置和下极线位置中间区域示意图如图 12 中阴影 部分所示。
对 MAP自动化评分和R. E. N. A. L自动化评分 的分值求和，如果分值之和 ≤ 5分，则第j个肾肿瘤剜除术难度是低难度；如果分值之和 > 5分且 ≤ 10分，则第j个肾肿瘤剜除术难度是中等难度；如果分值之 和 > 10分，则第j个肾肿瘤剜除术难度是高难度。
3 实验与分析
分割训练使用 NVIDIA Tesla P100 显卡，显存 16 GB，操作系统为Ubuntu 16. 04，深度学习平台为ten‐ sorflow1. 12. 0+keras 2. 2. 5，加速对应库cudnn7. 1. 4。分割预测和评估计算则使用 Win10 操作系统，使用 python3. 6. 12开发。
肾癌病人腹部 CT 数据来自开展合作的三级甲等的宁波市医疗中心李惠利医院，共有 500 个病人数据，每个病人腹部 CT 序列包括 60 幅左右的二维断层扫描图像，CT 序列中的肾脏、肾肿瘤和腹壁边缘区域通过医学图像软件由3位相关领域医学专家共同标注生成，训练前所有图像数据都要转为224 × 224像素的 8位灰度图像，分割训练采用 5倍交叉验 证的评估方法，每一次训练的 CT 序列为 400 组，并不是序列中的所有二维图像都参与训练，因为在一般情况下 CT 影像中时间序列对应的最开始与最后端的图像对于自动化评估的意义并不大，最有价值的是对应时间序列中间位置的图像，这与专业医生评估的图像位置也是一致的，所以每组CT影像中获取时间序列中间位置的30帧图像，所以每次训练的 图像总数是400 × 30 = 12 000幅。
训练过程中不对影像数据进行任何形式的数据增广，一方面是因为分割标记的数据量非常充足；另一方面是实际的实验经验发现数据增广不会带来任何的性能提升。主要训练参数，根据经验选择自适应矩估计（adaptive moment estimation，Adam）优化器，这里对应两个重要的参数是学习率和衰减率，分别为0. 000 1和0. 000 01，损失函数选择像素级别的交叉熵函数，每批训练数量（batch size）为64，设置训练回合（epoch）数量为 200，训练中采用回调的方法对单个 epoch 损失（loss）最少的分割模型和权重参数进行保存，在 200 个 epoch 的训练过程中，如果连续训练 10 个 epoch 后 loss 并没有任何减少，则提前终止训练。
为了进一步减少 loss 和优化权重，这里采用二次训练优化的策略，对于使用上述 Adam 优化器和相关参数训练好的深度学习分割模型，重新进行训练，此时改变的训练参数包括如下：优化器使用随机梯度下降（stochastic gradient descent，SGD）方法，初始学习率为 0. 000 01，采用指数衰减，epoch 数量为 100，同样连续训练 10个 epoch 后 loss 并没有任何减少，则提前终止训练。根据实际的训练经验， SGD 优化在权重比较接近最优值的时候会表现出更好的优化性能，使分割性能还可以进一步提升。
每次训练的 400组 CT 中，有约 800～1 000个标注的肾肿瘤区域，这些区域的三维空间作为肾肿瘤阳性样本，根据 2. 3. 1 节描述的方法，采样生成1 000 个阴性样本，使两类的数据量保持平衡一致。为了有效去除假阳性肿瘤区域，采用二分类模型，本文使用RF机器学习方法，因为根据实际经验和已知国内外影像组学研究文献，RF在各种测试样本中的平均性能是最佳的。除了RF外，其他性能表现较好的机器学习模型还包括支持向量机（support vector machine，SVM）和逻辑回归（logistic regression，LR），这里仅与这些模型的分类性能进行对比，其中 SVM 包括线性SVM（linear）和非线性SVM（rbf）两种，评估采用 5 倍交叉验证结合网格搜索，关键超参网格搜索的最佳值和交叉验证准确率如表 1 所示，n_trees 为 RF 中决策树（decision tree，DT）数量，C 为 SVM 和 LR 中的惩罚系数值，gamma 为非线性 SVM 中的径向基函数参数，penalty 为惩罚项类型。接收者操作特征曲线（receiver operating characteristic curve， ROC）如图 13所示。从表 1和图 13可以看出，RF 的性能在整体上远超过其他分类器，可以很好地起到去除假阳性的作用。
对肾脏、肾肿瘤和腹壁区域同时分割的结果进行统一的评估，性能指标包括戴斯系数（Dice coeffi‐ cient， DC）、命中率（positive predicted value， PPV）和敏感度（sensitivity），具体计算方法为
式中，P和T分别表示像素的预测结果和真实结果。
根据第1节的描述，在研究已知范围内，还没有专门对肾脏、肾肿瘤和腹壁区域同时进行分割研究和实验的论文，本文首先选择近年来在医学图像领域分割性能表现突出的一些分割模型进行对比，包括 Zhou等人（2018）的 U-Net++，Chen 等人（2018）的 DeepLabV3+，He 等人（2017）的 Mask RCNN 和 Chen 等人（2020）的 BlendMask，同时将 Yang 等人（2022） 的多尺度残差 3D-FCN 模型和 Kang 等人（2022）的 3DCNN 与 LSTM 融合模型进行少量调整，从而增加对腹壁的分 割，相关模型与比较结果如表 2 所示。
从表 2 可以看出，所提方法在所有指标中的平均值都是最高的，sensitivity、PPV 和 DC 比最差的 U-Net++要高出 0. 1、0. 08 和 0. 09，比 表现较好的 3DCNN+LSTM要高出0. 03、0. 04和0. 04，sensitivity、 PPV 和 DC 的最高值可以达到 0. 97、0. 98 和 0. 98。主要原因为：1）从腹壁、肾脏到肾肿瘤的3层分割级联结构在空间上对器官组织进行相对位置上的约束，这种空间约束不会导致在位置上过度错误的分割结果；2）多种混合形式的密集连接、子像素卷积和医学图像注意力门的使用可以保证比较准确地分割出较小肿瘤；3）通过肿瘤影像组学异构特征对假阳性肿瘤进一步去除。综合这些因素，保证了本文方法分割的精确性。指标值的标准差偏大，主要因为交叉验证是病人数据随机打乱后分组，一些组中存在部分较小难辨的肿瘤，同时还有少数病人由于脂肪较厚，导致腹壁和肾脏轮廓会更加模糊难分。
腹壁和肾脏的分割效果与专家人工标注基本一致，甚至少量分割结果的准确度还超出人工标注。由于肾肿瘤分割的难度相对较大，下面只是展示在验证集上部分肿瘤的实际分割对比，如图14 所示。可以看出，为了对分割效果更加清晰的展示，没有显示完整的 CT 图，只是对局部分割区域进行显示，此处选择验证集上的 6 处分割效果，红色线条表示专家标注的分割结果，绿色线条为自动分割结果，本文方法在所有 6 个分割结果中都与标注分割最为接近，没有出现假阳性肿瘤分割区域，而且对于第6个较小的肿瘤区域也可以正确分割，其他进行比较的 4种方法都无法将第6个较小区域进行识别分割，而且有少量的假阳性区域出现。
由第 2. 1 节可知，分割后需要对肿瘤进行 P、L、 N、E、R指标评分，为了进行实验比较，共选择200个在位置、大小和形态分布上尽量不同的肾肿瘤，由于 200个分析结果太多，本文选择有代表性的5个结果 进行展示，如表 3 所示。可以看出，对于 P、L、R 值，所有 5 次结果都与至少两个专家的评估结果一致；对于N、E值，所有5次结果中有4次与至少两个专家的评估结果一致。自动化单项的打分能力与专家非常接 近，在一定程度上可以完全替代专家进行打分。
对肾肿瘤评估的目的是为了区分手术的低难度、中等难度和高难度，如果单个肾肿瘤有两个以上专家评估的难度结果是一致的，就以此难度为准，如果出现已有的 3 个专家判断各不相同，就再找其他专家直到确认出最终难度，根据此标准，200个肾肿瘤都有一个手术难度标签。其中低难度28个，中等难度 151个，高难度 21个。下面对自动化方法与专家的评估准确率进行对比，如表 4 所示。可以看出，最终手术难度的评估结果，对于低难度，本文自动评估方法与两个专家一致，超过一个专家；对于中等难度，本文自动评估方法超过一个专家，与另一 个专家基本一致；对于高难度，本文自动评估方法超过所有3个专家。从3个难度的平均结果来看，超过两个专家，与最好的专家相差仅 0. 1%，基本保持一致。整体可以看出，本文方法与专家评估水平基本一致，可以有效替代或辅助专家进行自动化评估。
选择表 3 评分实验中有代表性的 5 个肿瘤进行 手术难度评估时间的比较，结果如表 5 所示。可以看出，由于自动化的方法不受限于任何主观因素的影响，所以每个肿瘤的评估时间基本上是一致的，平均在 244 ms 左右，标准差只有 8 ms，而且速度是非常快的，在 1 s 内可以评估 4 个肿瘤，其中主要时间还是用在 CT 中肾脏、肿瘤和腹壁的分割，而假阳性的判断与自动计算评分速度是非常快的，一般只有几个ms。
专家评估平均时间分别为 24 s、31 s 和 24 s，所 有专家评估时间的平均值为 26 s，标准差在 3 s 左 右，专家之间的时间差异和每个专家对不同肿瘤的评估时间差异相对较大。可以看出，单个肿瘤自动评估速度是人工的 108 倍左右。这是因为，首先每 个人的主观临床经验与判断认知程度是有差异的，其次是每个医生对医学影像软件进行相关操作与人工计算的熟练程度也有所不同，同时也会受到情绪、身体状况和其他人为因素的干扰，所以造成了评估时间较长和差异性较大的结果。
在真实的医疗应用场景中，训练后会产生分割模型和用于假阳性肿瘤识别的分类模型，对于模型的部署，一般有两种方案，一种是本地部署，即每个使用的计算机都要部署这两个模型，直接本地读取模型后进行分割与分类；另一种是服务端部署，两个模型只是部署在网络的服务器上，所有使用的客户端机器通过B/S或C/S模式来获取服务。
4 结 论
肾癌是泌尿外科最常见的肿瘤之一，通过CT等医学影像技术的辅助，采用权威医学指南推荐的早期肾癌首选手术方式—肾肿瘤剜除术，可以使肾癌患者总体的5年生存率大幅提高。当前评估剜除术难度的 MAP和 R. E. N. A. L评分只能依靠人工读片方式，本文使用一种将深度学习、医学影像组学和图像分析技术结合的自动化方法对肾肿瘤剜除术难度进行评估，评估结果与专家评估水平基本一致，可以有效替代或辅助专家进行医疗诊断。该方法已经集成到与医院、企业三方合作研发的医学影像云平台， 给手术难度诊断评估提供智能化的医疗方案。在下一步的工作中，将逐步开展对肺癌和肝癌等高发癌症手术难度智能与自动化评估的研究。
排版编辑：肿瘤资讯-Astrid
苏公网安备32059002004080号
