深度学习基础知识池化层pooling操作如何参与反向传播?
Posted 超级无敌陈大佬的跟班
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习基础知识池化层pooling操作如何参与反向传播?相关的知识,希望对你有一定的参考价值。
参考自:池化层pooling操作如何参与反向传播? - 知乎
详细解释直接看原文.
在反向传播时,梯度是按位传播的,那么一个解决方法,就是如何构造按位的问题,但一定要遵守传播梯度总和保持不变的原则。
平均池化:
- 将梯度平均分配给每一个神经元再进行反向传播,如下图所示。
最大池化:
在反向传播时,框架仅需要将该区域的梯度直接分配到最大值神经元即可,其他神经元的梯度被分配为0且是被舍弃不参与反向传播的,但如何确认最大值神经元,这个还得框架在进行前向传播时记录下最大值神经元的Max ID位置。
以上是关于深度学习基础知识池化层pooling操作如何参与反向传播?的主要内容,如果未能解决你的问题,请参考以下文章
CNN 卷积神经网络 池化层Pooling 动手学深度学习v2 pytorch