深度学习U-Net网络在肝癌治理中的应用

Posted 2021-09-12 Python中文社区

1 前言

原发性肝癌是第二大最常见的癌症致死原因，而肝脏分割是实现对癌症的检测和治疗的关键步骤。在获取腹部CT扫描图像之后，要想获得肝脏体积、位置及形状等信息，需要经验丰富的放射科医生对每个切片逐一进行人工标注，然而，这个过程非常耗费时间和精力，很容易受到医生主观意识的影响（如图1所示为3种难分割情形）。因此，临床上迫切需要自动而又精准的肝脏自动分割方法。

以上分别是(a)小肝脏区域 (b) 肝脏不连续 (c) 肝脏边界模糊的CT图像

背景和目标：在肝癌的诊断和手术规划中，肝脏分割是必不可少的一个关键前提。传统上，放射科医生获取病人CT图像之后，需要手动对每个切片逐一人工标注，以获取肝脏区域。然而，这个过程非常耗时，且易受医生主观意识的影响。在本文中，我们提出了结合注意力与空洞空间金字塔池的残差Unet网络，来实现肝脏的全自动分割，并在MICCIA-LiTS17和MICCIA-LIVER07两个数据集上验证了提出的方法的有效性。

方法：设计了一种新的SAR-Unet网络结构，对经典U-net的三个方面进行了改进。首先，在U-Net编码区的每次卷积操作之后，引入注意力机制，使其自适应地提取影像特征，抑制无关区域，突出分割任务的相关特征；第二，将连接U-Net编码器与解码器的过渡层和解码器的输出层，替换为空洞空间金字塔池(ASPP)，通过不同的空洞比例，构建不同感受野的卷积核，以此来获取多尺度图像信息；第三，将传统的卷积块替换成残差块，来缓解梯度爆炸问题，并促使网络提取更加复杂的特征。

结果：在LiTS17数据集实验中，Dice、VOE、RVD、ASD和MSD平均值分别为0.957、0.095、-0.0084、6.338和40.954。与当前其它先进的模型相比，我们提出的方法有很大的竞争力，尤其是与基于2D的网络向比，提出的方法获得了最高的精度，虽然与3D网络H-Dense UNet相比，提出的方法精度略低，但是，2D网络参数数量大幅少于3D网络，计算代价更低。此外，在MICCIA-LIVER07数据集的实验中， Dice、VOE、RVD、ASD和MSD平均值分别为0.973、0.054、-0.011、7.696和45.555。在与其它先进的网络模型比较中，在Dice、RVD和ASD获得了更高的分割精度。

结论：提出了一种新的全自动肝脏分割方法，大幅提高了2D网络模型的分割精度，并且验证了在处理小肝脏区域、肝脏不连续区域和肝脏边界模糊区域等难分割问题时的鲁棒性。

该网络模型主要有以下贡献: 

(1) 在U-Net的编码区的每个卷积操作之后，引入注意力机制，使得注意力机制可以以自适应的方式提取影像特征，并且也可以起到抑制无关区域的作用，最终确保网络聚焦于肝脏分割任务的相关特性；

(2) 将连接U-Net的过渡层以及U-Net解码器最后的输出层，替换为空洞空间金字塔池(ASPP)，达到提取更加丰富的多尺度特征信息的目的；

(3) 将U-Net标准卷积层替换为残差块，并增加批归一化层，确保在训练更深层次网络的同时，加快收敛速度，消除梯度爆炸，提高分割精度。

2 网络结构设计

在整个网络中，经典U-Net的普通单元被残差网络结构的卷积单元替代。与传统的卷积单元相比，残差结构在单一的前向传播基础上增加了快捷连接(shortcut connections)，从而使得在没有发生训练退化的情况下，训练更深的网络，达到提取更加丰富的判别特征的目的。在残差单元中，每次卷积之后进行批量归一化和ReLU激活操作。批量归一化的引入不仅能够降低模型对于初始化参数的敏感度，也在一定程度上起到正则化的效果。而ReLU函数虽然简单，却能够有效解决网络中梯度消失的问题。此外，为了对编码器每个卷积之后得到的特征图进行信息提炼，在每个串联层之后，采用Squeeze and Excitation Block，来自适应地提取图像的特征，从而借助通道注意力机制，将网络聚焦于肝脏分割任务（如图2(b)所示）。SE模块的具体操作如下：首先通过全局平均池化，将每个通道的二维特征(H x W)压缩为1个实数，然后，使用一次全连接神经网络，对全局平均池化之后的结果实施一次非线性变换，以得到每个特征通道的的权重值，最后，将前面得到的归一化权重加权到每个通道的特征上，实现图像通道的重要信息提取。进一步，为了缓解多次下采样操作，引发的分辨率下降问题，提出将Atrous Spatial Pyramid Pooling(ASPP)作为网络的过渡层（如图2(c)所示）。ASPP模块能够以多个不同比例捕捉图像的上下文信息，从而促使在提取的特征图中，包含更加丰富的多尺度语义信息。同时，在译码器的输出也引入ASPP模块，同样是为了输出图像截取多尺度信息，提高分割的准确率。 即：U-Net+SE-ResNet+ASPP。

3 LiTS数据集实验结果与分析

表2给出了四种模型的定量比较结果。从表2中可以看出，我们提出的模型在五个性能指标的比较中全部占有显著优势，尤其是Dice指标，我们的方法达到了95.71 ± 0.55。与其它三种模型相比，FCN模型在Dice、VOE、RVD和MSD指标最低，与金标准相差最大。与U-Net和Attention U-Net比较，我们的Dice和MSD指标大幅提升，而VOE、RVD和ASD指标上也有小幅提升。总体而言，本文方法的各项指标不但精度更高，而且波动范围较小，从而证明了模型的精度上的优势。在本对比实验中，我们还采用了统计学方法t检验来验证我们提出的方法与其他方法在分割精度上是否显著性差异，所有的统计假设检验都是就基于Dice和ASD两个指标。如表2所示，标记的结果与我们提出的结果之间（Dice和ASD）的性能差异，具有统计学意义（p <0 05）。

表3给出了提出的模型在LiTS17测试集的详细性能指标。从表3中可以看出，10套测试集的Dice、VOE、RVD、ASD和MSD最优值分别为0.968、0.073、0.034、5.017和31.094，而各项指标的均值分别为0.957、0.095、-0.0084、6.338和40.954。按照目前LiTS17竞赛成绩，我们方法的Dice排名第15名，VOE第33名，RVD第65名，ASD第120名，MSD排第70名。

4 Visual segmentation results on challenging liver cases

5 其它方法在LIVER07数据集上的比较

6 Limitations

和其它方法一样，论文提出的模型存在一定的局限性。首先，方法的ASD和MSD数值偏高，尤其是MSD数值，很大的原因在于，医学CT是基于3D的，而方法是基于2D网络，因而容易缺失z轴上的重要的上下文信息；其次，当肝脏边缘含有发生病变或者肿瘤异常时，论文提出的方法会出现较大误差。

7 讨论和总结

本文提出了一种新的用于肝脏分割的SAR-Unet网络。该网络结合了U-Net、注意力机制、残差学习和空洞空间金字塔池三者的优势。一方面，利用注意力机制，以自适应的方式提取影像的特征，并且抑制了无关区域，使网络聚焦于肝脏分割任务的相关特性；另一方面，将空洞空间金字塔池作为网络的过渡层，以实现对特征图像的多尺度提取；此外，将残差结构叠加到卷积单元中，使得网络解决梯度消失的问题。我们在LiTS17和LIVER07两个MICCIA竞赛数据集上验证了我们提出的模型高精准性和鲁棒性。与先进的经典模型相比，我们方法的总体性能占显著优势，尤其是Dice、VOE和RVD三个指标明显优于其它方法，而且在处理小肝脏区域、肝脏不连续区域和肝脏边界模糊区域等难分割问题时，也表现出了强有力的鲁棒性。但是，在处理肝脏边缘病变或者肿瘤时，我们的方法容易发生过分割或者欠分割误差，这也将成为我们今后研究的工作的改进重点。

作者简介：李响Superb，CSDN百万访问量博主，普普通通男大学生，深度学习算法、医学图像处理专攻，偶尔也搞全栈开发，没事就写文章。
博客地址：lixiang.blog.csdn.net

点击下方阅读原文加入社区会员