首页 > 文章详情

文献解读｜深度神经网络对比皮肤科医生对良恶性皮肤肿瘤的诊断效能评价

2022年03月23日

作者：姚鹤年

来源：ThoracicSurgeryOnline胸科在线

深度神经网络

对比皮肤科医生

对良恶性皮肤肿瘤的诊断效能评价

一项回顾性验证研究

摘要

卷积神经网络（CNNs）诊断几种类型的皮肤肿瘤的诊断性能已被证明与皮肤科医生使用临床摄影的诊断性能相当。

在这项研究中，神经网络算法的性能与皮肤科医生在真实世界和实验设置的诊断结果进行了比较，证明深度学习算法在确定大多数类型的皮肤肿瘤良恶性的可泛化性，并分析实验环境和真实世界环境之间的敏感性和特异性的差异。

研究方法

1、数据来源

回顾性收集2008年1月1日至2019年3月31日韩国首尔Severance Hospital共21165例病灶。

2、照片

活检的病灶大多位于照片的正中央，或用手术尺或标记物表示。

3、数量

数据集A二分类：43种疾病分类（10426例）

数据集B多分类：32种皮肤疾病（10315例）

与65位主治医师比较

数据集C：1320例病灶

由44位医师以30例病灶/人进行阅读测试

注：

*由于IRB不允许20岁以下的未成年人入学，因此他们被排除在外进行分析。

**本质上不可能的病例是指根据元数据（临床/病理学诊断和活检部位的记录）无法准确定位病变的病例。

***小类提示疾病类别少于 10 例：血管纤维瘤、Lait 斑疹、幼年黄原肿、粟粒疹、螺旋痣和皮脂腺增生。未经训练的类表示该算法未在皮肤纤维肉瘤前导体，Spitz痣、卡波西肉瘤、血管肉瘤和默克尔细胞癌上训练的类。

4、CNN模型：SENet、SE-ResNeXt-50

深度学习算法可生成两个不同值的结果：高灵敏度阈值、高特异度阈值。

根据cut-off值，以达到90%的敏感点T90为高灵敏度阈值，以达到80%的敏感点T80为高特异度阈值。

Top-n的准确性为在输出结果的前n中包含正确诊断。

结果呈现

1、恶性肿瘤和良性病变的二元分类

在临床诊断的表现优于算法：

Top-3临床诊断的结果与算法在高灵敏度阈值处的差异具有统计学意义。

Top-1临床诊断的算法在高特异性阈值处具有统计学意义。

阅读者Top-3诊断结果与算法在高灵敏度阈值处的差异无统计学意义。

阅读者Top-1诊断结果与算法在高特异性阈值处无统计学意义。

2、用于预测精确诊断的多类分类

算法的准确率高于阅读测试准确率，低于临床诊断结果准确率。

采用1对多的方式，将多分类转换为二分类，得出32种疾病平均AUC=0.931±0.062。

医师临床诊断的Top-1宏平均准确率为65.4%，Top-3宏观平均准确率为74.7%，算法的Top-1宏平均准确率为42.6%， Top-3宏观平均准确率为61.9%。

医师临床诊断的Top-1微平均准确率为68.2%，Top-3宏观平均准确率为78.7%，算法的Top-1宏平均准确率为49.2%， Top-3宏观平均准确率为71.2% 。

3、不同设置中的性能更改

裁剪图像AUC=0.881

未处理图像AUC=0.870

使用未处理图像或裁剪图像对算法的性能影响很小。

讨论

在实验环境下，深度学习算法可达到与皮肤科医生相当的性能。

存在各种因素导致算法在实际应用中泛化性较差：

1、相对于测试组的数量，训练组的数量有限：研究中影响因素通常比现实生活影响因素少。

2、训练组和测试组数量的增加导致性能降低。

3、医院档案中良性病变的图像数量不足，在预测良性病变图像时，会降低诊断的准确性。

需要前瞻性研究确认算法的诊断准确性。

思考

1、该文章方法学的用于逐层检验 ABC 数据集是否可以参考？

2、纳排标准可以参考做得更精细一些。

3、该文章提到自行定义“高灵敏度阈值”、“高特异度阈值”的概念是什么？

4、32 类皮肤肿瘤；深度神经网络用于单纯图像识别。

5、2008年1月1日至2019年3月31日所收集的图像，但皮肤肿瘤诊断指南随着时间改变是否对研究造成影响？文章未提及此点。

6、该文章的图片处理方法（人为裁剪目标区域再进行处理分析），针对同一病灶7、不同角度的多张图片亦可纳入识别计算均值，是值得参考借鉴的。

8、对于TOP1-2-3的结局指标，是否进行算法验证？文章中针对 TOP1-2-3，将临床医生诊断vs人工智能诊断的AUC进行比较。

9、本课题是否具备和实现该文章涉及的神经网络算法（已开源）？

10、在有限的样本下，如何选择基于人工智能的最佳影像、病理亚分类方法（二分类、三分类或五分类？），该文章的思路是否可参考？

11、未处理vs裁剪图像对算法性能影响很小？（本课题也可参考这种对比，评估裁剪前后的差异）

原文链接：https://doi.org/10.1371/journal.pmed.1003381

文献解读：姚鹤年（广东医科大学硕士研究生）

排版编辑：尤培蒙、周钰波

指导老师

免责声明

本文仅供专业人士参看，文中内容仅代表ThoracicSurgeryOnline胸科在线立场与观点，不代表肿瘤资讯平台意见，且肿瘤资讯并不承担任何连带责任。若有任何侵权问题，请联系删除。

2022年04月26日

徐宝连

浙江中医药大学附属第二医院(浙江省新华医院) | 血液肿瘤科

AI技术有使皮肤科医生失业之虞

2022年03月30日

李国君

冀中能源峰峰集团有限公司总医院 | 血液肿瘤科

皮肤肿瘤诊断指南随着时间改变是否对研究造成影响