U-net 与 FCN 背后的直觉用于语义分割

Posted 2023-03-27

【中文标题】U-net 与 FCN 背后的直觉用于语义分割

【英文标题】：Intuition behind U-net vs FCN for semantic segmentation

【发布时间】：2018-10-18 18:29:22

【问题描述】：

我不太明白以下内容：

在提议的FCN for Semantic Segmentation by Shelhamer et al 中，他们提出了一种像素到像素的预测来构建图像中对象的掩码/精确位置。

在用于生物医学图像分割的 FCN 的略微修改版本U-net 中，主要区别似乎是“与来自收缩路径的相应裁剪的特征图的连接”。

现在，为什么这个功能特别适用于生物医学分割？对于生物医学图像与其他数据集，我可以指出的主要区别在于，在生物医学图像中，定义对象的特征集不如日常常见对象那样丰富。数据集的大小也是有限的。但是这个额外的功能是受这两个事实的启发还是其他原因？

【参考方案1】：

FCN 与 U-Net：

FCN

它只上采样一次。即它在解码器中只有一层 原始实现github repo 使用双线性插值对卷积图像进行上采样。也就是说这里没有可学习的过滤器 FCN-[FCN 16s 和 FCN 8s] 的变体添加了来自较低层的跳过连接，以使输出对规模变化具有鲁棒性

---

U-Net

多个上采样层 使用跳过连接和连接而不是累加 使用可学习的权重过滤器代替固定插值技术

【讨论】：

无论出于何种原因，VGG16-FCN-8s（请参阅我的 keras 转换 github.com/dmitryako/keras_fcn_8s）对我来说效果更好，即我无法使用 U-Net 获得更好的结果。

您好，结果将取决于我们尝试执行的任务以及我们正在使用的数据集。 U net 被特别证明可以很好地使用 less [使用数据增强技术]。理想情况下，根据我的经验，UNet 提供了更好的性能，因为它具有多个上采样层以及更多的跳过连接，从理论上讲，与 FCN 相比，它在缩放变体方面更加稳健。顺便说一句，你在做什么任务，你使用了什么数据集。你也可以在这里发布你的研究论文的链接

【参考方案2】：

U-Net 建立在 J. Long 的 FCN 论文之上。一些不同之处在于，原始 FCN 论文使用解码器一半对分类进行上采样（即网络的整个后半部分的深度为 C - 类数）

U-Net 将后半部分视为在特征空间中，并在最后进行最终分类。

生物医学 IMO 没有什么特别之处

【讨论】：

你说得对，U-Net 并不是专门用于生物医学的，它非常适合对准确性（尤其是形状）至关重要的生物医学应用，而 U-Net 的跳跃连接在这方面有很大帮助跨度>