论文笔记：nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation

Posted 2022-07-12 UQI-LIUWJ

nature 2019

配套论文笔记：nnU-Net: Self-adapting Frameworkfor U-Net-Based Medical Image Segmentation_UQI-LIUWJ的博客-CSDN博客

 

1  abstract & intro

        生物医学成像中的语义分割算法能够在许多应用中进行图像分析和量化，设计特定的及解决方法并不容易，并且高度依赖于数据集属性和硬件条件，不具备普适性。

        目前的这些图像语义分割方法大多是task-specific，他们的模型设计、参数配置、数据增强方法等都需要很特殊的专家知识和经验。一个数据集上很成功的配置可能在另一个数据集上就完全行不通

        这篇论文提出了nnU-Net，它可以对任何新任务、新数据集自行配置自己的预处理部分、模型架构、训练和后处理部分，不需要任何人为决策。

2 结果

2.1  分割结果

图1是不同的分割结果，每一组图坐标是2D投影，右边是3D渲染

2.2 适应任何新数据集 

图2表示了nnU-Net如何系统性地解决整个图像分割的问题

• 粉色的方块描述一个数据集
• 箭头表示由rule导致的各个参数之间的关联性
• 通过这些rule，我们可以用粉色的方块计算出绿色方块里面的内容【rule-based parameters】
• 蓝色的表示固定的参数，不随数据集而变化
• 黄色的表示是否继承，以及时候需要后续操作

nnU-Net 的自动配置可以看成将domain knowledge提取成3个参数组

2.2.1 固定的参数

不需要适应数据的参数（不同数据集上都一样的参数）

其中某些部分的介绍可以看论文笔记：nnU-Net: Self-adapting Frameworkfor U-Net-Based Medical Image Segmentation_UQI-LIUWJ的博客-CSDN博客

 2.2.2 Rule-based Parameters

根据“dataset fingerprint”，也就是描述图像数据的参数，我们可以得到一组基于规则的参数。

这边的规则会决定很多剩下的参数（影响preprocessing、model structure等部分），论文给出了几个规则的例子：

• 更大的batch size可以获得更精准的梯度预测，因而更推荐（在实践中任何大于1的batch size都是OK的）
• 更大的patch size可以获得更多的上下文信息，因而会获得更好的performance（医学影像的图通常很大，而且通常是三维的，无法将一整张图放入network中，因而需要将其划分成一个一个的patch，对每个patch进行图像分割，将各个patch的segmentation结果concatenate起来）、
  • ——>将patch size 初始化为图像大小的中位数
  • ——>迭代地减少patch size，同时调整网络拓扑架构（网络深度、池化操作数量、池化操作位置、feature map 的尺寸、卷积核尺寸）
  • ——>直到网络可以在给定GPU的限制下，且batch 至少是2的情况下，可以被train
• 神经网络的深度需要足够深，使得感受野的尺寸至少和patch size一样大，这样才不会有某些信息被丢弃

 

2.3.3 empirical parameter

2.2.4 nn-Unet 架构

和一下的nn-Unet是一样的

 论文笔记：nnU-Net: Self-adapting Frameworkfor U-Net-Based Medical Image Segmentation_UQI-LIUWJ的博客-CSDN博客

2.3 nnU-Net在很多任务上做的更好

 

 2.4 不同数据集的影响

下图是不同医学图像分割数据集的fingerprint

        不难发现不同数据集呈现的特点是各式各样的，这也就导致了在一个数据集上比较好的模型可能在别的数据集上效果很差，需要重新优化 。nnU-Net通过自己进行参数配置，可以有很好的泛化效果。

2.5 改变一些fixed parameters

稍微改变fixed parameters，在10个数据集上比较一下效果

尽管在某些数据集上，修改了一些fixed parameter的效果会更好，但没有一个修改后的模型在所有的dataset上都表现得很好。 

 

3 总结

 nnU-Net是一种基于深度学习的分割方法，可以在任何医学影像分割任务中自动配置，包括预处理、网络架构、训练和后处理。

nnU-Net 的强大性能不是通过新的网络架构、损失函数或训练方案来实现的，而是通过将手动方法配置的复杂过程系统化，这在以前是通过繁琐的手动调参或inductive bias来解决。

我们假设 nnU-Net 最先进性能背后的原因在于将大量数据集中的知识提炼成一组稳健的设计选择，这些选择在应用于新数据集时会转化为强大的归纳偏差，并且这允许超出在单个数据集上配置模型的泛化能力。