第一课第三周3-4节--2D和3D分割的优缺点以及如何构建UNet模型

Posted 2021-08-30 Tina姐

既然我们已经了解了如何表示 MRI 数据，那么让我们来看看脑肿瘤分割的任务。

分割是定义各种组织边界的过程。在这种情况下，我们试图确定肿瘤的边界。

我们也可以把分割看作是分类三维体中每个点的类别的任务。

二维空间中的这些点称为像素，三维空间中的这些点称为体素。

让我们讨论两种利用 MRI 数据进行分割的方法。

• 第一种是二维方法

在2D方法中，我们将构建的 3D MRI 体积分解成许多 2D slice(切片)。这些切片中的每一个都被传递到分割模型中，该模型输出该切片的分割结果。

每一个切片都以这种方式通过分割模型，为每一个切片生成一个分割。然后，可以再次组合二维切片，以形成分割的三维输出体积。

缺点

当使用这种方法时，我们可能会丢失重要的3D上下文。

例如，如果一个切片中有一个肿瘤，那么很可能在它邻近的切片中也有肿瘤。

如果我们一次一个切片地传递到网络中，网络无法学习这个有用的上下文。

让我们看看如何用3D方法解决这个问题。

• 第二种是三维方法

在3D方法中，理想情况下，我们希望将整个 MRI 体积输入分割模型，并得到整个 MRI 的 3D 分割结果。

然而，磁共振成像体积的大小使得它不可能一次全部进入模型。这只会占用太多的内存和计算。

那么，我们能做些什么来让这个模型仍然能够在深度维度上得到大脑皮层的信息呢？

在 3D 方法中，我们将 3D-MRI 体积分成许多 3D 子体积（sub-volume）。每个子体积都有一些宽度、高度和深度上下文。

因此，与二维方法一样，我们可以一次一个地将子体积输入模型中，然后在最后聚集它们，形成整个体积的分割图。

缺点

这种3D方法可以捕捉到一定的上下文信息，但缺点是我们可能仍然会失去重要的空间皮层。

例如，如果一个子体积中有肿瘤，那么它周围的子容积中也可能有肿瘤。

本节学完有作业

作业内容

在作业中，您将学习如何从 MRI 数据中提取子体积。您需要编写一个函数来隔离用于训练的数据的小“立方体”。

作业文件:

吴恩达-医学图像AI 专项课程-作业/第一课/week3/AI4M_C1_W3_lecture_ex_02.ipynb

此作业从展示的是如何从一维数组数组中提取指定长度的数据，该逻辑可以扩展到三维。

此部分作业比较简单，省略~~~

2D UNet and 3D UNet

既然我们已经介绍了二维和三维分割方法，让我们深入研究分割体系结构。

我们将从分割架构开始。

我们将使用2D任务来建立3D任务的分割架构。最流行的分割架构之一就是U-Net。

U-Net最早被设计用于生物医学图像分割，并在细胞跟踪任务中取得了很好的效果。

U-Net最酷的地方在于，它可以获得相对较好的结果，即使有数百个例子。

U-Net架构的名字来源于一个U形的形状。两条路径组成：收缩路径（contracting path）和扩展路径(expanding path)。

收缩路径是一种典型的卷积网络，用于图像分类。它包括反复应用卷积和池运算。这里的卷积运算称为下卷积(down convolution)。

在收缩路径中，我们的特征映射在空间上变得更小，这就是为什么它被称为收缩。

扩张路径在某些方面与收缩路径相反。它通过一系列的上采样和上卷积步骤，使我们的小特征图恢复到图像的原始大小。

它还将每个步骤的上采样表示与收缩路径上相应的特征映射相连接。最后，在最后一步，输出图像中每个像素的肿瘤概率。

在二维方法中，U-Net结构可以训练成2D切片的输入输出对。我们已经介绍了二维U-Net。

让我们看看在3D方法中有3D子体积时我们能做些什么。

我们可以将任何三维子体输入到分割体系结构中，如果我们可以用它们的3D对应物替换所有的2D操作。

这正是对U-Net的扩展名3D U-Net所做的。二维卷积变为三维卷积，二维池化层变为三维池化层。

如果你以前没看过3D卷积也没关系。这里要理解的重要一点是，3D U-Net允许我们输入3D子体积，并获得体积中每个体素的输出，作为肿瘤发生的概率。

如果你不知道 2D U-Net模型怎么扩展到 3D U-Net,可以做一做作业。

作业文件

吴恩达-医学图像AI 专项课程-作业/第一课/week3/AI4M_C1_W3_lecture_ex_03.ipynb

该作业中，将带着你一起构建一个UNet模型。

文章持续更新，可以关注微信公众号【医学图像人工智能实战营】获取最新动态，一个关注于医学图像处理领域前沿科技的公众号。坚持已实践为主，手把手带你做项目，打比赛，写论文。凡原创文章皆提供理论讲解，实验代码，实验数据。只有实践才能成长的更快，关注我们，一起学习进步~

我是Tina, 我们下篇博客见~

白天工作晚上写文，呕心沥血

觉得写的不错的话最后，求点赞，评论，收藏。或者一键三连