深度学习模型参数初始化的方法
Posted demo-deng
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度学习模型参数初始化的方法相关的知识，希望对你有一定的参考价值。
（1）Gaussian 满足mean=0，std=1的高斯分布x∼N(mean，std2)
（2）Xavier 满足x∼U(−a,+a)x∼U(−a,+a)的均匀分布， 其中 a = sqrt(3/n)
（3）MSRA 满足x∼N(0,σ2)x∼N(0,σ2)的高斯分布，其中σ = sqrt(2/n)
（4）Uniform 满足min=0,max=1的均匀分布。x∼U(min,max)x∼U(min,max)
以上是关于深度学习模型参数初始化的方法的主要内容，如果未能解决你的问题，请参考以下文章