深度之眼PyTorch训练营第二期 --- 8权值初始化

Posted 2020-11-21 cola-1998

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度之眼PyTorch训练营第二期 --- 8权值初始化相关的知识，希望对你有一定的参考价值。

一、梯度消失与爆炸

技术图片

二、Xavier方法与Kaiming方法

1、Xavier初始化

方差一致性：保持数据尺度维持在恰当范围，通常方差为1

激活函数：饱和函数，如Sigmoid，Tanh

三、常用初始化方法

10种：

Xavier均匀分布、正态分布

Kaiming均匀分布、正态分布

均匀分布、正态分布、常数分布

正交矩阵初始化

单位矩阵初始化

稀疏矩阵初始化

nn.init.Calculate_gain

主要功能：计算激活函数的方差变化尺度

主要参数

nonlinearity：激活函数名

param：激活函数的参数，如Leaky ReLU的negative_slop

以上是关于深度之眼PyTorch训练营第二期 --- 8权值初始化的主要内容，如果未能解决你的问题，请参考以下文章