基于双重交叉注意的医学图像分割

Posted 2023-04-06 松下直子

Dual Cross-Attention for Medical Image Segmentation

摘要

代码链接
论文链接
提出了双交叉注意(Dual Cross-Attention, DCA)，能够增强u - net架构下医学图像分割的跳过连接。
DCA通过连续捕获跨多尺度编码器特征的通道和空间依赖关系来解决编码器和解码器特征之间的语义差距。

• 首先，通道交叉注意(CCA)利用多尺度编码器特性的跨通道交叉注意令牌提取全局信道依赖关系。
• 然后，空间交叉注意(SCA)模块执行交叉注意，以捕获跨空间标记的空间依赖关系。
• 最后，对这些细粒度编码器特征进行上采样，并将其连接到相应的解码器部分，形成跳越连接方案。
  我们提出的DCA模块可以集成到任何具有跳过连接的编码器-解码器体系结构中，例如U-Net及其变体
  

方法

Patch Embedding from Multi-Scale Encoder Stages

我们首先从n个多尺度编码器阶段(即跳过连接层)提取patch。给定n个不同尺度的编码器，使用2D平均池化提取patch，其中池大小和步幅为Psi，并在2Dpatch上使用1×1 depth-wise 卷积应用投影:

Channel Cross-Attention (CCA)

将不同的token沿着通道维度创建键和值，同时我们使用Ti进行查询。虽然线性投影通常用于传统的自我注意，但最近的研究成功地将卷积应用于自我注意，以带来局域性并降低计算复杂度。特别是深度卷积被用于自我注意，因为它们能够以可忽略不计的额外计算成本捕获局部信息。基于之前的工作和这些优势，我们将所有线性投影替换为1 × 1深度卷积投影:

Spatial Cross-Attention (SCA)

沿着通道维度执行层归一化和连接。与CCA模块不同，我们使用连接的token C作为查询和键，而我们使用每个token i作为值。我们在查询、键和值上使用1 × 1 depth-wise projection

实验结果

基于模糊聚类的图像分割

摘要：

水平集的表现和合适的初始化和控制参数的最优配置有关，这需要大量的人工干预。这篇文章提出了一个新的模糊水平集算法去优化医学图像分割。可以直接演化根据空间模糊聚类的初始分割。水平集的控制参数也是来自于模糊聚类。而且模糊水平计算法被增强通过局部正则化的方程。这些改进促进了水平集的演化，并且带来更鲁棒的分割。本文算法的表现评价是在不同医学图像上进行试验而来的。结果证明了它在医学图像上分割的有用性。

引言

医学图像分割的潜在目标是将它分为不同的结构上的区域，从而分割出感兴趣的部分，如血管和肝肿瘤从他们的背景中分割出来。计算机医学图像处理是一个挑战性问题，因为图像低的分辨率和弱对比性。更甚任务总是更困难由于噪声和人工因素，这些来自医疗设备的局限、重建的算法和病人的移动。目前还没有通用的医学图像分割算法。一个算法的优点和缺点总是在调查研究中改变。

大多数医学图像的产生是灰度图像。假设一个医学图像I(x,y),x属于[1,Nx],y属于[1,Ny]是空间索引，像素(x,y)代表相关的强度。图像分割是为了找出有意义的子集，

指数k和j是在[1,K]之间，K是子集的个数。

方程式1代表图像分割应该是完整的，方程二要求不重叠。

图像分割有两个建立好的内容：像素分类和跟踪变化的边界。第一个假设各子集中的像素有接近一致的性质，解剖上的结构具有相似的特征。算法可能同时检查多重部分，但是他们对噪声敏感，对图像的不均匀性敏感。对比来看，追踪变分边界的方法使用了密度和空间信息，因此一个子集需要是均匀的，在一个具体的变分边界上封闭。当应用到医学图像分割，它们都不鲁棒由于内在的噪声和人为因素。

实际中应用的分割算法需要放射医生、使用他们的经验和知识，为了最优化的分割表现从而小心地调节参数。由于医学图像的复杂性，大多数计算机系统是以半自动或者交互的方式运行，放射医生初始化分割，当有需要时中断，最终停止算法。显然这样非常主观且耗费人力的。因此，人力操纵的缓解决定了分割算法在临床上的接受度。

水平计算法，建立在动态隐式和偏微分方程，被证明在医学图像处理上是有效的。然而使用这些方法，临床的放射科医生和工程实践者觉得有压力面对高强度的计算要求和复杂控制参数的调节。目前技术水平试验朝着便于操纵、同时有较好的分割结果发展。

有很多混合智能的系统使用模糊聚类去优化水平集分割。简而言之，这些算法使用模糊聚类，依据图像的灰度来做初始分割，然后利用水平集来达到目标优化通过追踪边界的变化。我们之前的工作在肝肿瘤的分割上表明：模糊聚类大约勾画出肿瘤的边界，不仅减少了人工的干预，同时加速了水平集的演化。Ho和suri提出了规范水平集演化通过模糊聚类，为了减轻噪声敏感和弱边缘等问题。然而，操作者仍然需要小心设置一些参数为了最优的水平集分割。

本文中，我们提出了一个模糊水平集算法为了自动医学图像分割。和我们以前的方法相比，新的算法有意义的改进从以下方面。首先，模糊聚类结合了空间信息在自适应优化，减少了中间形态的操作。第二，水平集的控制参数直接来自于模糊聚类的结果。第三，一个新的策略，来自于模糊聚类，提出来规则化水平集的方程。最终，我们验证了模糊水平集算法在一般的医学图像，如超声、CT、MRI。

空间模糊聚类和图像分割

在模糊聚类，子类的中心和范围可能会适应变化为了最小化提前定义的成本函数。所以是合适的把模糊聚类看做是一个自适应阈值的方法。FCM是模糊聚类中流行的算法之一，而且比较广泛地应用在医学问题中。

经典的FCM算法来自于K-means算法，简单地说：k-means算法想要设置N个物体，依据他们的性质，将他们分为K个聚类（K<N）,对于医学图像分割，N等于图像中像素的个数Nx*Ny。期待的结果包括每个聚类的中心，和N个物体的归属。标准的k-means算法尝试最小化价值函数：

In是具体的图像像素，vm是第m个聚类中心，||.||代表距离。理想的k-means算法的结果是使聚类之间的差异性最大，一个聚类中像素的差异性最小。

K-means聚类，每个物体属于K个聚类中的一类且只属于一类，对比来说，FCM使用聚类函数umn代表第n个像素对第m个聚类中心的隶属度，这对于医学图像分割来说是正当的，因为生理的组织并不是说同类的。FCM的成本函数和方程3类似。

其中参数l>1,控制得到的分割的模糊度。隶属度函数受限于如下的限制条件：

隶属度函数和聚类中心迭代公式如下：

标准FCM算法是这样优化的：当像素靠近聚类中心他们被安排高的隶属度值，当他们远离聚类函数时被安排低的像素值。

标准FCM算法在图像分割中问题之一是：缺乏空间信息。因为图像噪声和人工因素损害FCM算法的分割表现，将空间信息融入FCM算法则是非常吸引人的。Cai et al提出了一个广泛的FCM算法，采用了相似度因子将局部灰度和空间信息融合起来。和以上前期的权值对比，是可能使用形态学操作去应用空间限制在后处理阶段。

Chuang提出了另外的空间FCM算法，将空间信息结合进模糊隶属度函数直接使用

P和q是两个参数控制相对的分布。变量hmn包括空间信息。

Nn是像素n周围的局部窗口。还是按(6)和（7）来进行迭代。

水平集分割

与FCM算法采用像素分类，水平集方法是以动态变化的边界来进行图像分割。活动轮廓模型分割图像是比较有名的算法，但是不是参数活动轮廓模型，水平集方法将它们嵌入在偏微分方程中， ，然后通过追踪零水平集的变化来确定活动轮廓模型的演化。

隐式曲线包含一个或一系列的零等值线。图像分割的议题因此转化为：

注意t变量的加入导致更高一维的水平集函数，这带来了更多的计算量，但是有很多实际的优点。例如：曲线 可以根据水平集函数的取值来决定，还可以自然地适应 的拓扑变换。特别地，水平集方程完全由下面的演化方程决定：

代表梯度， 是初始化曲线，F代表的复合力。包括内力来自于曲线的几何参数（曲率、轮廓的长度、面积）和外力来自于图像梯度和人工动量。

前进的力F需要被正则化，通过边缘检测函数使水平集接近最优解。

           是图像I和高斯核的 的卷积， 代表一个图像的梯度。G函数在变分边界时值为0.其他地方的值为正数。一个流行的水平集公式为：

代表平均曲率，v是通常所说的气球力。

水平集图像分割面临最大的问题是：大量的计算。水平集函数将2D图像分割的问题转化为3D问题。稳定的水平集分割有其他的限制，例如，时间步长和网格需要遵从 条件，水平集函数应该被周期性的初始化作为一个符号距离函数。为了应对这些挑战，一个快速的水平集函数被提出：

第一项是一个惩罚项，偏离符号距离函数。

第二项结合了图像的梯度信息。

代表Dirac函数， 控制那些项的各自贡献。

本质上 驱使水平集函数到达变分边界，这和标准水平集函数很像。然而，惩罚项 驱使曲线保持符号距离函数，这有很大的优势。新算法消除了为了符号距离函数重新初始化计算的复杂性，第二，它可以来自于任意的二值区域。

C是一个普通的常量，它允许更大的时间步长，但是仍然保持稳定的演化：

改变导致了快速的水平集医学图像分割。速度的增长使它更容易测试和评价水平集图像分割。

一个新的水平集算法

FCM算法和水平集算法都是通用的计算机模型，可以应用于任何维的问题。如果我们约束限制它们在医学图像分割，可以利用某一环境来获得更好的表现。一个新的模糊水平集算法因此提出为了医学图像的自动分割。它首先进行空间模糊聚类，结果应用于初始水平集分割，估计控制参数和规范水平集演化。

新的模糊水平集算法自动初始化和水平集演化的参数配置，使用空间模糊聚类。它使用FCM利用空间限制去决定医学图像中感兴趣区域的目标轮廓。受益于灵活的初始化像方程18那样，增强的水平集函数可以直接使用FCM的结果来演化。假设感兴趣目标的组成部分在FCM演化结果中是 ，非常方便去初始化水平集函数，

       是个常数调节Dirac函数，Dirac函数定义如下：

是一个可调节的阈值。受益于空间模糊聚类， 可以在某种意义上接近目标区域，可以通过 进行便利地调节。

水平集函数中有很多控制参数，它们对于医学图像分割都很重要。因此很有必要合适地配置它们，但是根据例子不同参数的调节也往往不同。现在没有一个通用的规则来指导参数的配置。例如，一个大的 会带来更加平滑的图像，但是牺牲了一些图像的细节。一个大的时间步长能够加速水平集的演化，但是会引起边界泄漏的危险。而且有必要选择一个正数v,如果初始化曲线 在目标的外面。反之亦然。

而且，通过反复试验，对水平集分割有几个不成文的规定。时间步长和惩罚项因子 为了稳定分割必须小于0.25.参数C应该比 大。同时太大的C又会使水平集的速度减慢。我们实验中也发现，太大的 会使轮廓边缘更光滑，大的V能够加速水平集演化。但是，有一个边界泄漏的风险，上面通用的指南虽然有用，但不充足决定一副医学图像的合理配置。

非常吸引人对不同的医学图像去决定他们的控制参数，考虑初始化水平集函数 通过空间模糊聚类结果在方程式20中。

我们观察，如果目标区域大的话，水平集演化会更快。在这种条件下，这一比率：

也将会很大。因此这是合理的把时间步长作为 在本文所提的算法中，惩罚项的系数被设置为：

因为 应该小于0.25,为了稳定的演化，初始水平集函数 来自于方程20，会接近真正的边界。一个比较保守的

用来控制拓扑的变化。

气球力v在水平集中起2个作用。它的符号决定了水平集函数的前进方向，正收缩，负扩张。第二，v越大，水平集演化越快。在标准的水平集算法中，控制参数v经常被设置为一个全局常量。然而，使水平集方程演化快一点是非常有优势的，特别是当 离真正的边界比较远的时候。相反，水平集在接近边界的时候需要降下来速度。更甚，水平集函数应该改变方向，当它穿过目标边界的时候。我们把FCM预分割，作为定量的指标，在规则化水平集演化方程时尤其有用。

新的模糊水平集算法将图像像素的隶属度 作为感兴趣区域 的的距离，这里提出了一个增强的气球力，去拉或者推动动态曲线靠近目标区域。

气球力 是一个矩阵，在每一个图像像素上有一个拉或者推力，换句话说，水平集函数将会收到吸引不管他初始的位置，于是演化方程转化为：

提出的增强获得了几个实际的好处，气球力能够直接从空间模糊聚类得到。更甚水平集函数现在适应距离去真正的边界。一旦接近物体，水平集函数会自动地使水平集演化减缓，而且将是完全独立的在平滑项上。由于一个 在这采用，水平集演化自动稳定。另外一个额外的好处是非常方便选择一个较大的迭代时间，如果没有这个改进的话，操作者需要去注意水平集的演化，以免分割不充分或者过分割。

试验和讨论

对不同的医学图像进行试验和表现评价，包括超声颈动脉、CT肝肿瘤、MRI大脑组织。空间的FCM和本文提出的算法都用MATLAB进行了仿真试验。

第一个试验用来证明空间FCM对于初始化水平集函数的有用性。它采用了快速水平集算法来进行曲线演化，这些来自于手工标定、灰度阈值和空间模糊聚类。这些表现对比在超声图像上。显然，由于弱边缘和强的背景噪声，手工初始化不能达到一个最优的水平集分割。相反，灰度阈值和模糊聚类被动态曲线快速地吸引到边界，值得一提的是一个灰度不均匀的图像导致了边缘泄漏，图d,而基于模糊聚类的算法补救了它。

图二介绍了肝肿瘤的例子，并对肝肿瘤进行了分割。有两个像癌的组织在器官边界，分割非常困难因为弱和不规则的边缘，肝组织自己是不均匀的因为血管，同样，非常具有挑战性去决定最初的初始化和水平集演化参数。图2显示FCM聚类有最好的表现在水平集初始化方面，然而如果没有合适的控制参数，要么分割不足，要么过分割。如j和I.

图3介绍了更加困难的情况，这需要分割过程进行 和 从MRI的脑组织切片中。显然WM和GM缠在一起，分散在整个图像上。这使人工初始化不切实际，灰度阈值和FCM在这方面有点优势。然而，很难去获取控制参数去控制水平集演化。如上所示，没有合适的配置，水平集分割更差比初始的模糊聚类。D,j,f,I。

第二个实验的目标是验证新的模糊水平集算法。改进是用于将模糊聚类应用于水平集分割算法来获得自动的参数配置。图像4表现了它在超声颈动脉图像的分割效果。对于那些参数扩张水平集的轮廓，4a，初始化的FCM分割被删了，通过一个阈值0.99。为对比，阈值为0.5为了收缩参数。为了预分割通过空间FCM获得，水平集对控制参数不是那么敏感，并且保持在真正的目标边缘附近。

本文所提出的算法相对普通，对于那些边界相对清晰的图像来说。然而，在图像没有明显的边界，它是十分重要控制水平集函数的运动。操作者需要持续监控水平集的演化，频繁地调节不同的控制参数，否则不合适的分割就会出现。为对比，新的模糊水平集算法能够找到控制参数从模糊聚类中自动地。特别地，它的解法是鲁棒和接近完美的。

总结来说，我们提出的模糊水平集算法允许灵活的初始化对医学图像的分割。3个范例进行了证明和比较。手工的声明和灰度阈值对于水平集的初始化十分方便。文献中大多数的水平集系统都采用这种形式。然而，组织间的边缘在医学图像中通常是弱和不明显的。至于图像的不均匀性和边界泄漏，人工初始化显然不是一个可靠的选择对于水平集图像分割。更多，感兴趣的部分通常散布在整个图像，定位他们十分不方便。对比来看，灰度阈值在这方面有优势。然而，它需要小心地调节阈值，这对于那些纠缠在一起的组织来说十分具有挑战性。

模糊聚类能够靠近目标区域的边界，也能够初始化一张图像的分割。然而，传统的FCM算法，仅仅包含图像的灰度信息，对于医学图像分割并不鲁棒，由于噪声和人工因素。增强的空间FCM算法尝试联合灰度和空间信息作为一个整体。模糊聚类算法已经不受影响对不同类型的噪声，因此，它也是合适的为水平集演化方程。

水平集演化方程受曲线内部不同的力和外部图像的力。非常困难协调这些力成为一个比较好的分割。对于具体的图像可以通过反复的试验来获取最优的参数，图4-6显示，尽管好的初始化，不合适的控制参数，可能会导致较差的分割。更甚，对于那些弱边缘，以及模糊不清的边缘，操作者需要时刻警惕着水平集曲线的演化，否则最终会分割不足或者过分割。新的聚类水平集算法有优势，它能够从模糊聚类的结果中估计最好的曲线演化控制参数。实际中这些都促使了水平集的分割。

是合适的将文中呈现的工作和先前的知识融合起来形成可变形的模型。但是，在医学图像分析中并不能获得可靠的先验知识和模型。例如，计算机肝肿瘤分割十分复杂，形状和肝肿瘤的灰度因个体而不同，因医学设备而不同，甚至处于病理学的不同阶段。模糊聚类能够自动地获得感兴趣区域的潜在内容，因此它作为一个有效的先验知识用于水平集的分割。

结论

一个新的模糊水平集算法提出为了医学图像的自动分割。它使用模糊集函数作为初始的水平集函数，增强FCM算法附加空间信息能够接近感兴趣的边界。因此水平集算法从一个具真正水平集比较近的区域进行演化。而且，新算法从模糊聚类的结果估计了控制参数。这减少了人工交互。最后，水平集方程通过变分气球力进行了矫正，因此能够通过空间模糊聚类实现正则化。换句话说，水平集演化当它接近真正的边界它会稳定，这不仅避免了边界泄漏，又减轻了人工干预。所有这些进步使得算法比较鲁棒。算法表现也通过了不同的医学图像进行了试验，结果证明还是很有希望的。

模糊水平集算法来自经典的 在这种，水平集演化方程服从不同的内力和外力。可以把医学图像处理看做是一个MS模型问题，水平集函数形成去最小化能量泛函，为了一个最优的分割。后者的算法对初始的边界不像前者那么敏感。在接下来的研究中，有趣使用本文提取的方法应用到MS水平集模型中用于图像分割。