Softmax函数与交叉熵

Posted 2020-11-29 pocahontas

一般在神经网络中， softmax可以作为分类任务的输出层。

输出n个类别选取的概率，并且概率和为1。

 

 

 

 

i?代表的是第i个神经元的输出，zi是下面

 

 

loss function表示的是真实值与网络的估计值的误差。交叉熵的函数是这样的

 

 

 

 

yi?表示真实的分类结果。

求导。首先，我们要明确一下我们要求什么，我们要求的是我们的loss对于神经元输出的梯度。