都2021年了，不会还有人连深度学习都不了解吧-- 下采样篇

Posted 2022-12-11 奋斗の博客

导读

该篇文章重点介绍CNN中下采样方式，下采样是CNN中必不可少的阶段之一，CNN中常用的下采样方式有平均池化和最大池化，同时平均池化和最大池化也是注意力机制的重要组件。

目前深度学习系列已经更新了6篇文章，分别是激活函数篇、卷积篇、损失函数篇、评估指标篇，另还有1篇保姆级入门教程，1篇总结性文章CNN中十大令人拍案叫绝的操作，想要入门深度学习的同学不容错过！

一、下采样方式

平均池化和最大池化是CNN中使用最多的下采样方式，所谓的池化，是指特征图分别在高、长方向上的缩小运算，下采样目的在于增加模型的鲁棒性，所谓的鲁棒性，可以简单理解为当输入数据发生微小偏差时，结果仍是相同的。池化的特征主要有3个：

• ①池化层没有要学习的参数，这与卷积层有质的区别。
• ②经过池化层后，特征图的通道数不会发生变化，即输入数据和输出数据的通道数是相同的。
• ③对微小的位置变化具有鲁棒性。

下面我们分别介绍最大池化（MaxPool）和平均池化（AvgPool）两种最常见的下采样方式。

1.1 最大池化

假设有一张特征图X，size为（4，4），池化窗口kernel size为2，池化步长为2。
step1：

step2：

step3：

step4：

1.2 平均池化

平均池化的运行原理跟最大池化基本一样，唯一不同之处在于平均池化是计算目标区域的平均值。
step1：

• （1+2+0+1）/ 4=1

step2：

• （1+2+2+3）/ 4=2

step3：

• （3+0+3+4）/ 4=2

step4：

• （1+2+0+1）/ 4=1

最后特征图变为：

1.3 size的变化

假设输入大小为(H, W)，滤波器大小为(FH, FW)，输出大小为(OH, OW)，填充为P，步幅为S，输出大小可通过下式计算得到。

二、下采样作用

下采样的优势主要有以下几点：

• ①降维，减少网络要学习的参数数量。
• ②防止过拟合。
• ③增大感知野
• ④可以实现不变性:平移不变性,旋转不变性,尺度不变性。

下采样最大的劣势在于在下采样过程中会丢失大量的特征信息，但是这些信息可以通过一些特有的手段在一定程度上进行弥补。

文章持续更新，可以关注微信公众号【医学图像人工智能实战营】获取最新动态，一个专注于医学图像处理领域前沿科技的公众号。坚持以实践为主，手把手带你做项目，打比赛，写论文。凡原创文章皆提供理论讲解，实验代码，实验数据。更有上百部深度学习入门资料免费等你来拿，只有实践才能成长的更快，关注我们，一起学习进步~

计划

深度学习保姆级入门教程 – 论文+代码+常用工具
1个字，绝! – CNN中十大令人拍案叫绝的操作
都2021年了，不会还有人连深度学习还不了解吧？（一）-- 激活函数篇
都2021年了，不会还有人连深度学习还不了解吧？（二）-- 卷积篇
都2021年了，不会还有人连深度学习还不了解吧？（三）-- 损失函数篇
都2021年了，不会还有人连深度学习还不了解吧？（四）-- 上采样篇
都2021年了，不会还有人连深度学习还不了解吧？（五）-- 下采样篇
都2021年了，不会还有人连深度学习还不了解吧？（六）-- Padding篇
都2021年了，不会还有人连深度学习还不了解吧？（七）-- 评估指标篇
都2021年了，不会还有人连深度学习还不了解吧？（八）-- 优化算法篇
都2021年了，不会还有人连深度学习还不了解吧？（九）-- 注意力机制篇
都2021年了，不会还有人连深度学习还不了解吧？（十）-- 数据归一化篇

觉得写的不错的话，欢迎点赞+评论+收藏，欢迎关注我的微信公众号，这对我帮助真的很大很大很大！