机器学习Softmax及求导

Posted yezzz

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习Softmax及求导相关的知识,希望对你有一定的参考价值。

Softmax

softmax可以将经交叉熵损失函数的输出都映射到 0 到 1 间,且各分类累和为 1。符合概率分布。

假设共有 n 个输出 [Z1,...,Zn],对第 i 个元素 Zi 的softmax的计算公式:Si = ezi / sum(ezn)

 

softmax的反向传播求导过程

 https://zhuanlan.zhihu.com/p/25723112

以上是关于机器学习Softmax及求导的主要内容,如果未能解决你的问题,请参考以下文章

机器学习—线性回归逻辑回归Softmax回归 的区别

[转载]机器学习中常用的矩阵求导公式

机器学习中的线性代数之矩阵求导

机器学习中的矩阵向量求导 矩阵向量求导之微分法

机器学习中的线性代数之矩阵求导

机器学习里的数学:矩阵求导Ⅱ