深入浅出PyTorch中的nn.CrossEntropyLoss

Posted 2022-07-08 aelum

目录

• 一、前言
• 二、理论基础
• 三、主要参数
• • 3.1 输入与输出
• 四、从零开始实现 `nn.CrossEntropyLoss`

一、前言

nn.CrossEntropyLoss 常用作多分类问题的损失函数（对交叉熵还不了解的读者可以看我的这篇文章），本文将围绕PyTorch的官方文档对重要知识点进行逐一讲解（不会全部讲解）。

import torch
import torch.nn as nn

二、理论基础

对于 $C(C>2)$ 分类问题，先不考虑 batch 的情形，设神经网络的输出（还未经过 Softmax）为 $x_c{}_{c=1}^C$，经过 Softmax 后得到

$$q_i=\frac{\exp (x_i)}{{\sum }_{c=1}^C\exp (x_c)}$$

从而该样本的交叉熵损失为

$$H(p,q)=-\sum _{i=1}^C{p}_i\log q_i=-\sum _{i=1}^C{p}_i\log \frac{\exp (x_i)}{{\sum }_{c=1}^C\exp (x_c)}$$

其中 $(p_1,p_2,\cdots ,p_C)$ 是 One-Hot 向量。

不妨令 $p_y=1(y\in 1,2,\cdots ,C)$，其余为 $0$，因此上式变为

$$H(p,q)=-\log \frac{\exp (x_y)}{{\sum }_{c=1}^C\exp (x_c)}$$

现在考虑有 batch 的情形，不妨设 batch size 为 $N$，神经网络的输出为 $x_{nc}{}_{nc},n=1,\cdots ,N,c=1,\cdots ,C$，第 $n$ 个样本的真实类别记为 $y_n(y_n\in 1,2,\cdots ,C)$，第 $n$ 个样本的交叉熵损失记为 $l_n$，则仿照上式就有

$$l_n=-\log \frac{\exp (x_{n,y_n})}{{\sum }_{c=1}^C\exp (x_{nc})}$$

接下来我们讨论一些特殊情形。当数据不平衡时（某一类的样本数特别多，另一类的样本数特别少），我们需要为每一类的损失安排一个权重用来平衡。权重为 $\mathbf{w}=(w_1,w_2,\cdots ,w_C)$。

📌 模型容易在样本数最多的一个（或几个）类上过拟合，因此对于那些样本数较少的类，我们需要设置更高的权重，这样模型在预测这些类的标签时一旦出错，就会受到更多的惩罚

安排了权重后，相应的损失为

$$l_n=-w_{y_n}\log \frac{\exp (x_{n,y_n})}{{\sum }_{c=1}^C\exp (x_{nc})}$$

计算完 $l_1,l_2,\cdots ,l_N$ 后，我们既可以一次性将它们全部返回（对应 reduction=none），也可以返回它们的均值（对应 reduction=mean），还可以返回它们的和（对应 reduction=sum）：

ℓ = ( l 1 , ⋯   , l N ) ,