Progressive Minimal Path Method for Segmentation of 2D and 3D Line Structures论文学习

Posted 2022-12-21 beautymonkey_

Progressive Minimal Path Method for
Segmentation of 2D and 3D Line Structures论文翻译和学习
今天就先学到这里吧！明天接着研读，晕有点看不明白

摘要

二维和三维线结构的分割对于许多计算机视觉应用都是至关重要的，如卫星图像中的街道分析和医学图像中的血管量化。在这篇文章中，我们提出了一种基于最小路径方法的统一方法来分割不同应用领域的线结构（示例见图1）。
利用最小路径方法，计算起始点xs和端点xe之间的路径，使某一能量函数最小化。为了寻找最小路径，通常采用快速行进法（如[1]、[2]、[3]）或Dijkstra的算法[4]。两种方案都可以通过将波前从xs传播到xe，基于图像特征导出的速度函数，有效地找到最小路径。使用从xe开始的后续回溯，可以直接确定所考虑的线结构的中心线。与间接方法（例如，基于区域的二值分割）相比，这是一个优势，后者需要一个额外的步骤来确定中心线。然而，经典的最小路径方法很容易走捷径，特别是在结构具有高曲率或成像伪影（如噪声或模糊）的情况下。例如，对于图2a中所示的线结构，通常会得到一个捷径（见图2b）。

1、介绍

1.1相关工作

对最小路径方法提出了不同的改进。基于各向异性速度的方法利用了线结构的细长特性。通常，这些方法应用黎曼度量（如[5]、[6]，[7]、[8]，[9]）或Finsler度量（如[10]）。然而，这些方法需要特殊的数值格式，它们对于高各向异性[8]不精确，或者不能直接扩展到高维[10]。这些方法的计算复杂度通常为OðN ln NÞ，其中N为图像的像素或体素数，而基于各向同性速度[11]快速行进方法的最小路径方法。
基于域提升的最小路径方法引入了额外的维数来考虑特征，如半径和方向（如[12]、[13]、[14]），即参数空间的维数随着图像和特征的维数的增加而增加。在[15]中，引入路径的状态，使节点可以被访问一次，这相当于一个附加维度。然而，高维问题的计算要求更高，一些数值格式（如[14]）仅限于二维或三维参数空间。例如，在[13]中，我们只使用了2D图像中的[14]方向。对于3D图像，需要三个欧拉角来指定方向，从而产生三个额外的维度。因此，所有特征组合被计算出来，即使只探索了一部分参数空间。此外，对于附加的维度，使用了离散化的特征值，导致离散化误差。
上述最小路径方法采用连续公式，并采用快速行进算法。相比之下，基于离散公式的最小路径方法（如[16]，[17]）也被提出。利用线形图，将大量附加的节点和边插入到与图像网格对应的图中，以表示路径的高阶属性，如能量函数的曲率。需要计算所有相邻边对组合的权值，从而导致计算时间相对较高。因此，只使用涉及三个点（曲率）或四个点（扭转）的特征。在[16]中，曲率被用于二维图像。在[17]中，引入了一种利用曲率和扭转来处理三维图像的方法，但扭转只适用于相对较小的问题。此外，由于图的离散性，这些特征也容易产生测量误差。
在使用方向性信息的最小路径方法中，使用额外的特性来控制路径。例如，波的传播可以在不需要的方向（例如[18]）停止，或者在特定方向（例如[19]、[20]、[21]）上促进。但是对于某些方法（例如，[19]，[20]），并不能保证总是达到终点。此外，对于[18]、[19]、[20]中的方法，也没有需要优化的整体能量函数。
一些最小路径方法依赖于额外的关键点。手动插入的关键点（例如，[22]）可以极大地帮助消除歧义，但它们严重依赖于精确的手动定位。关键点还可以根据波前与起点之间的距离（如[23]、[24]、[25]）自动插入关键点。然而，几何特征，如路径的曲率，并没有被纳入。大多数这些方法（例如，[22]，[24]，[25]）只应用于2D图像。
上面描述的最小路径方法使用静态速度，即在传播开始之前计算速度。相比之下，在[26]、[27]、[28]、[29]中，利用图像点波前的角度差在波传播过程中更新速度。然而，不能利用需要多个图像点来计算的属性（例如，路径的平均强度）。[27]、[28]、[29]方法采用离散公式，因此它们存在离散化误差。
最近的一些方法（例如，[30]，[31]）假设最优路径的段形成一个过连通图的子集，并使用整数规划来去除不必要的段。每个部分要么被完全包含在内，要么被排除在最终结果之外。一旦生成，这些段就不能被更改。因此，分段的生成应该具有较高的精度。在[30]中，采用了阈值化和骨架化，而在[31]中，采用了经典的最小路径方法。通过更准确的方法，可以提高研究结果。没有利用单个线段内部的几何特性。

1.2贡献

在这项工作中，我们引入了一种新的渐进最小路径方法，以有效地分割线结构从二维和三维图像。我们的方法使用了一个基于新的路径特性的动态速度。我们结合和扩展我们之前的会议论文[32]，[33]，特别是，我们将一个新的路径特性，扩展我们的方法到3D，提供我们的方法的更多的细节，并考虑更广泛的应用，包括脑血管的自动分割在3D 7特斯拉（7T）磁共振血管造影（MRA）图像，卫星图像的检测。我们的主要贡献有两个。
首先，我们引入了一种新的有效的最小路径算法框架。在以前的最小路径方法中，点x的速度是使用点特征（例如，使用导数滤波器[34]，[35]，[36]）计算可视度。基于使用机器学习获得的滤波器组或神经网络，也存在更复杂的特征。但它们的计算成本很高，特别是对于3D图像，而且这些特征还没有用于最小路径方法。相反，我们通过沿着从x开始的局部路径localpath聚合点特征来引入路径特征。利用这些路径特征限制了波前的传播。实验表明，与点特征相比，通过聚合标准点特征（如可视性）获得的路径特征显著提高了结果。路径特征的一个重要特性是，它们需要实时计算，即在波前的渐进传播过程中。这在使用静态速度的经典的最小路径方法中是不可能的。例如，对于图2a中的线结构，以前具有点特征的方法（例如，[34]）通常会导致捷径（图2b），因为由于所需路径上的所有伪影的总长度比捷径的长度大得多。但通过将完全相同的点特征聚合到glocal的路径特征上，并动态更新速度函数（图2d），可以得到正确的结果（图2c，详见下文4.1节）。请注意，我们的方法中的路径特征可以比所使用的详细特征更有效地计算出来，例如，在机器学习方法中。我们的方法使用各向同性的速度，所以我们可以使用一个简单的和准确的数值方案的任意维度。与域提升相比，该方法的参数空间与图像具有相同的维数，即不需要额外的特征维数。此外，使用我们的曲率约束方法，我们不需要像使用曲率正则化[16]、[17]那样引入额外的节点或边，并且可以使用大量（任意）点有效地计算特征。注意，我们的方法中的路径特征不是为图像的所有点计算的，而是针对波前实际到达的点计算的。这大大减少了计算时间，特别是对于3D图像。在我们的方法中，与之前的方法相比，与基于方向信息或关键点的静态速度的方法相比，我们使用了更广泛的特征。与[26]、[27]、[28]相比，我们使用路径特征而不是点特征，并且利用了更大的特征谱。以前的方法不能使用路径特性。在我们的工作中，我们使用了一个连续的公式来避免度量误差或离散化误差，但我们的框架也可以使用一个离散的公式来应用。
其次，我们提出了一些使用不同新的路径特征的框架实例，这些特征是在波前传播过程中使用连续公式动态计算的。这些特征包括路径的外观特征、几何特征（路径的曲率）以及关节外观和几何特征（波前切线的外观）。该方法应用于不同应用领域的图像数据：二维图像中视网膜血管分割、三维图像中脑血管分割、河流和街道分割以及卫星图像中桥梁检测。据我们所知，这是第一次尝试将基于最小路径的分割与目标检测有原则地结合起来。我们使用2D和3D图像进行了广泛的评估，包括合成数据和真实数据（卫星图像、视网膜图像和3D 7T MRA图像）。
本文的组织结构如下。在第2节中，我们简要地描述了经典的最小路径方法。然后，我们在第3节中介绍了我们的新的渐进最小路径方法。我们的框架的三个实例分别在第4.1、4.2和4.3节中展示了出来。使用二维和三维图像数据的实验结果，包括合成图像和真实图像，在第5节中提供。最后，在第6节中给出了一个结论。

2、经典的最小路径法

给定一个n维的图像g(x)Þ： V！Rn以及起始点和结束点xs；xe 2 V，最小路径方法的目标是找到路径g^；和xe之间，使能量^最小化

3、具有动态速度的最小路径法

在本节中，我们将介绍一个新的使用动态速度的渐进式最小路径框架。

3.1动态速度

在以往的最小路径方法中，速度和波传播的计算是两个连续的步骤。首先计算一个静态速度Fstat，然后用于不更新的波传播。注意，Fstat不允许合并关于波前已经访问过的区域的信息。这些信息只在波的传播过程中可用，一旦波前变化就会变化。为了利用这些信息，我们引入了一个动态速度函数Fdyn。我们的新能量函数被表示为
。。。。一堆公式没仔细看

3.2渐进式最小路径框架

我们的渐进式最小路径方法的主要思想是利用动态计算的特征来引导波的传播。在经典的快速行进方法中，波前W上具有最小到达时间UxsðxÞ的点xmin是波在当前步骤中传播的位置，即W前进到W外的xmin的邻居。

找到能量最小的点，找到对应的局部路径（这一步怎么做？见4.1.2），检查局部路径是否满足约束（约束条件是什么？见4.1.2），如果满足约束，就说明找对了，直接向前推进即可。如果不满足约束条件，就说明这条路是“捷径”，将这个能量最小点的数值加上一个很大的正数，再找最小能量点。

3.2.1渐进式最小路径方法的一般函数

我们为渐进最小路径方法引入了四个一般函数，可以根据特定的任务：NeedDynamicSpeed（需要计算的动态速度）, ComputeFeature（计算特征）, IsSatisfied（是否满足限制条件）和ComputeDynamicSpeed（计算的动态速度）。这些函数的前三个是针对应用程序的，用于三个应用程序的实例将分别在4.1、4.2和4.3节中进行描述。一般来说，需要动态速度检查x点的速度是否需要更新，计算特征计算RA区域的特征f，满足检查f是否满足约束。根据约束条件，计算动态速度将使用(4)和(9)来计算动态速度Fdyn（请参见下文第3.2.2节）。请注意，与以前基于静态速度的最小路径方法有显著的差异： Fstat不能合并f，因为它是在波的传播开始之前计算的，而此时RA仍然是未知的。计算f的唯一方法是在RA已知时，即在波前传播时，动态地推导出它。

3.2.2计算动态速度

我们的框架可以应用于基于快速行进方法的连续公式，以及基于迪杰克斯特拉算法的离散公式。在算法1中给出了连续公式和离散公式的统一算法。

4、渐进式最小路径方法的实例

我们提出了我们的渐进最小路径方法的三个实例。对于每个实例，我们描述了动机和目标，然后是所使用的路径特征和约束，以及相应的函数：计算动态速度、计算特征和已满足。

4.1外观特征

首先，我们引入了一个局部路径的外观特征，以处理由于伪影而涉及间隙的路径。

4.1.1动机和目标

对于像图2a中这样的线结构，起始点和结束点彼此接近，并且这些结构由于伪影而存在间隙。对于这些情况，大多数以前的最小路径方法产生捷径，比真实路径短得多。相比之下，我们使用外观路径特性来避免走捷径。（其实就是线段的起点终点离得很近，但正确的路线其实绕了一大圈，这种情况容易出现“捷径”，所以引申出了一个局部路径的概念）

4.1.2特性和约束

我们的静态速度是基于一个多尺度的空间度测量，这增强了图像中的线结构。对于2D图像，我们有

这里有讲到，即使起点终点之间的缝隙很小，只要不满足限制条件都会被认为是‘捷径’
（局部路径的定义和限制条件怎么给的）

4.2几何特征

其次，我们引入了一个几何特征，即局部路径的曲率（曲率越大，道路的弯曲程度越大），以避免具有高曲率的路径。

4.2.1动机和目标

（长度正则化方法不合理，两条血管交叉就容易出错，应该用曲率正则化）

4.2.2特性和约束

4.3联合外观和几何特征

第三，我们引入了一种联合外观和几何特征来分割卫星图像中的河流和检测桥梁。

4.3.1动机和目标

以前的最小路径方法都是关于路径的分割的。我们证明，它也可以检测到与路径相关的其他结构。特别地，我们引入了一种新的路径特征来同时分割河流和检测卫星图像中的桥梁。据我们所知，这是第一次尝试将基于最小路径的分割与目标检测有原则地结合起来。

4.3.2特性和约束

利用桥梁和河流垂直且河流具有均匀的强度分布的特性

5、实验结果

我们使用合成的和真实的图像，包括视网膜血管的图像、河流和街道的卫星图像，以及人类脑血管的3D 7T MRA图像，对我们的方法进行了定量和定性的实验评估。我们还将我们的方法与以前的方法进行了比较。

5.1外观特征

5.2几何特征

5.3联合外观和几何特征

6、结论

在本文中，我们介绍了一种基于动态速度和路径特征的最小路径方法。我们给出了渐进式最小路径框架的三个实例，包括外观特征、几何特征、关节外观和几何特征。以前的最小路径方法使用了点特征。为了避免捷径，提出了基于各向异性速度、域提升、线图、方向信息和附加关键信息等方面的不同改进。但这些方法的计算要求很高，引入了离散化和度量误差，在数值格式中有局限性，或使用有限的特征。相比之下，我们的方法可以通过引入局部路径的路径特征来应对这些限制。这些特征是通过聚合点特征来创建的，可以对任意维度有效地计算。路径特征只能在波的传播过程中确定，因此它们不能被纳入以前使用静态速度的最小路径方法中。采用渐进最小路径方法，可以显著改善二维和三维图像的分割结果，同时避免捷径分割结果。此外，我们将基于最小路径的分割与目标检测相结合来检测卫星图像中的桥梁。我们的方法不存在离散化或度量化错误的影响。
我们进行了广泛的评估我们的方法使用7,560 2D合成图像，50 2D视网膜图像的凝视和驱动数据集，30卫星图像从谷歌地图和谷歌地球，300 3D合成图像，40真正的高分辨率3D 7T MRA图像的人类大脑透镜状区域，和三个高分辨率3D 7T MRA整个人类大脑的图像。我们与以往方法的定量比较表明，我们的方法取得了更准确的结果。
目前，我们的方法只提取线结构的中心线。扩展也是确定线结构的半径。此外，可以利用更多的应用特定的速度函数，而不是一般的速度度测量。