深度学习基础知识池化层pooling操作如何参与反向传播？

Posted 2022-12-01 超级无敌陈大佬的跟班

        参考自：池化层pooling操作如何参与反向传播？ - 知乎

        详细解释直接看原文.

        在反向传播时，梯度是按位传播的，那么一个解决方法，就是如何构造按位的问题，但一定要遵守传播梯度总和保持不变的原则。

平均池化：

• 将梯度平均分配给每一个神经元再进行反向传播，如下图所示。        

 最大池化：

        在反向传播时，框架仅需要将该区域的梯度直接分配到最大值神经元即可，其他神经元的梯度被分配为0且是被舍弃不参与反向传播的，但如何确认最大值神经元，这个还得框架在进行前向传播时记录下最大值神经元的Max ID位置。