图像分割UNet系列------Res-UNet详解

Posted 2021-09-05 gz7seven

图像分割unet系列------Res-UNet详解

• • 1、Res-UNet要解决的问题
  • 2、Res-UNet主要网络结构
  • 3、引发的思考

    Res-UNet发表于2018年，是UNet非常重要的改进版本之一。当然，Res-UNet同样是应用在医学图像分割领域-----视网膜血管分割。

1、Res-UNet要解决的问题

    作者在文章的简介中就提到了视网膜血管分割任务的主要难点和挑战，这也是Res-UNet重点解决的问题，具体如下所示（直接翻译）：

• 小血管缺失：位于血管末端的小血管有时甚至人眼也难以分辨；
• 视盘区分割结果不理想：通常视盘区域较亮，对比度相对较低，这增加了视网膜血管分割的难度；
• 血管拓扑结构难以维系：视网膜血管有类似树状的分叉结构，但当血管太薄而无法检测到时，这样的连续的血管结构就很难保持连接（发生断裂）；
• 光照因素：光照不足或过度曝光，包括相机光源引起的光反射，会降低图像对比度，从而导致视网膜血管边界不清晰。

    综上所述，由于视网膜血管本身成像的限制与成像过程中光源等干扰，都会使视网膜血管的对比度降低，进而造成血管信息丢失或是直接影响血管的拓扑结构。

2、Res-UNet主要网络结构

    从本质上说Res-UNet并不是一个特别难懂的甚至不是特别难以想到的网络结构。在18年之前已经提出了其中经典的Resnet和Attention思想，作者是将这三者做了有机结合。此方法的流程主要所示：

    以上这张图并不能很好地展现Res-UNet的网络结构，详细的网络结构如下图所示：

    注意一点：为了解决眼底图像对比度低的现状，作者在进行模型训练以前对图像进行了对比度有限自适应直方图均衡化(CLAHE)操作，为了增加样本数量进行了patch操作。这两个部分的操作其实是值得我们深入思考的。将在下文中提出自己的观点。

2.1 Attention部分

    Attention部分其实操作也相对简单，主要是通过提取具有圆形感兴趣区域(ROI)和深色背景。然后使用圆形模板ROI mask M作为加权注意，如图2所示黄色箭头。利用这种加权注意机制，使模型只关注目标ROI区域，而忽略了不相关的噪声背景。这个操作实质上就是注意机制是通过将模型的最后一层的特征图与注意掩模相乘来实现的。ROI mask实际上是将图像进行二值化的过程。

2.2 skip连接部分

    根据Resnet的思想将skip连接添加到网络中（见图2的灰色实线部分），此操作增加了网络的深度，根据Resnet中的解释，还可以防止过拟合，提高模型的准确度。

3、引发的思考

3.1 网络结构的思考

    Attention部分祛除了ROI区域以外的噪声影响，但是使用CLAHE增强后并没有去除ROI内部的噪声干扰。但是从文章结果来分析，似乎并没有造成较大的影响。
    skip连接部分充分说明了Resnet的强大，当然网上有太多的解释和分析， 本人不在此处细讲。

3.2 CLAHE增强与patch操作

    CLAHE增强操作必然会增加图像的噪声，当然作者应该进行了滤波操作以保障二值化（ROI）的准确性，也保证网络输入部分图像信号的质量。但是有一个问题值得我们思考，增加噪声就一定会使网络性能变差吗？就算是进行滤波或是其他降噪操作，CLAHE增强带来的噪声是不会完全消失的。噪声是不是还会使网络性能产生较好的性能？我在这一刻想到了反向传播，想到了梯度和激活函数，这是个有趣的点。

    原文中的patch操作是无重叠的，最后再拼在一起。实际上无重叠会造成信息的丢失，尤其是上下文信息的丢失，这在一定程度上会影响血管拓扑结构，这也是一个需要关注的地方。

    总之，以上都是自己的愚见，希望各位大神和朋友们激烈交流和讨论。