深度学习基础知识池化层pooling操作如何参与反向传播?

Posted 超级无敌陈大佬的跟班

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习基础知识池化层pooling操作如何参与反向传播?相关的知识,希望对你有一定的参考价值。

        参考自:池化层pooling操作如何参与反向传播? - 知乎

        详细解释直接看原文.

        在反向传播时,梯度是按位传播的,那么一个解决方法,就是如何构造按位的问题,但一定要遵守传播梯度总和保持不变的原则

平均池化:

  • 将梯度平均分配给每一个神经元再进行反向传播,如下图所示。        

 最大池化:

        在反向传播时,框架仅需要将该区域的梯度直接分配到最大值神经元即可,其他神经元的梯度被分配为0且是被舍弃不参与反向传播的,但如何确认最大值神经元,这个还得框架在进行前向传播时记录下最大值神经元的Max ID位置。

 

以上是关于深度学习基础知识池化层pooling操作如何参与反向传播?的主要内容,如果未能解决你的问题,请参考以下文章

CNN 卷积神经网络 池化层Pooling 动手学深度学习v2 pytorch

FPGA教程案例56深度学习案例3——基于FPGA的CNN卷积神经网络之池化层verilog实现

深度学习—池化padding的理解

Pooling Layer:池化层

神经网络——最大池化层的使用

神经网络中的池化层(pooling)