机器学习的几种分类损失函数

Posted 2021-09-17 Paul-Huang

1. 机器学习的几种分类损失函数

1.1 信息量

• 信息量也叫做香农信息量，常用于$刻画消除随机变量X在x处的不确定性所需的信息量$。
• 假设连续型随机变量，设$p$为随机变量$X$的概率分布，即$p(x)$为随机变量$X$在$X=x$处的概率密度函数值，随机变量$X$在$x$处的香农信息量定义为：
  $$I(x)=-\log p(x)=\log \frac{1}{p(x)}\text{\hspace{1em}(1.1)}$$

1.2 信息熵

• 信息熵用于$刻画消除随机变量X的不确定性所需要的总体信息量$。
• 信息熵是衡量随机变量$X$在整个样本空间的总体香农信息量，即香农信息量$\log p(x)$的数学期望信息熵的定义如下：
  $$H(p)=H(X)=E_{xp(x)}[-logp(x)]=-{\int }_{}^{}p(x)logp(x)dx\text{\hspace{1em}(1.2)}$$

1.3 交叉熵

• 假设$q(x)$是用来拟合$p(x)$的概率分布，$x$属于$P$的样本空间，交叉熵用于衡量$Q$在拟合$P$的过程中，用于$刻画消除不确定性而充分使用的信息量$。常作为神经网络的损失函数使用。

• 由于在每一个点$X=x$处$q$的香农信息量为$-\log q(x)$，即衡量$Q$在$X=x$处为了拟合$P$所作的努力。

• 因此可以计算出在整个样本空间上$Q$消除不确定性所使用的总体信息量，即$-\log q(x)$的数学期望，由于每个$x$的权重为$p(x)$，因此交叉熵$H(p,q)$的定义为：
  $$H(p,q)=\sum p(x)log\frac{1}{q(x)}\text{\hspace{1em}(1.3)}$$

• 优点：使用逻辑函数得到概率，并结合交叉熵当损失函数时，在模型效果差的时候学习速度比较快，在模型效果好的时候学习速度变慢。

• 缺点：

  • 1、随着分类数目的增大，分类层的线性变化矩阵参数也随着增大；
  • 2、对于封闭集分类问题，学习到的特征是可分离的，但对于开放集人脸识别问题，所学特征却没有足够的区分性。

    对于人脸识别问题，首先人脸数目(对应分类数目)是很多的，而且会不断有新的人脸进来，不是一个封闭集分类问题。

  • sigmoid(softmax)+cross-entropy loss 擅长于学习类间的信息，因为它采用了类间竞争机制，它只关心对于正确标签预测概率的准确性，忽略了其他非正确标签的差异，导致学习到的特征比较散。

    这个问题的优化有很多，比如对softmax进行改进，如L-Softmax、SM-Softmax、AM-Softmax等。

1.4 KL散度

• KL散度也叫相对熵，用于$刻画概率分布q拟合概率分布p的程度$。
  • $p$为真实数据的概率分布，$q$为随机噪声生成数据的概率分布；
  • 生成对抗网络中$q$分布拟合$p$分布的过程中：
    • 如果$q完全拟合p$，则$H(p)=H(p,q)$；
    • 如果$q拟合p不充分$，则产生的信息损耗$H(p)-H(p,q)$就是$p$和$q$的KL散度。
• $p和q的相对熵D(p||q)$为$信息熵H(p)与交叉熵H(p,q)的差$，KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比特个数。KL散度的定义为：
  $$H(p)-H(p,q)=-{\int }_{}^{}p(x)logp(x)dx-(-{\int }_{}^{}p(x)logq(x)dx)\text{\hspace{1em}(1.4)}$$
  $$D(p||q)=\sum P(x)log$$