pytorch交叉熵损失函数 F.cross_entropy()

Posted 征途黯然.

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pytorch交叉熵损失函数 F.cross_entropy()相关的知识,希望对你有一定的参考价值。

F.cross_entropy(x,y)

  cross_entropy(x,y)是交叉熵损失函数,一般用于在全连接层之后,做loss的计算。

  其中x是二维张量,是全连接层的输出;y是样本标签值。x[batch_size,type_num];y[batch_size]。

  cross_entropy(x,y)计算结果是一个小数,表示loss的值。

举例说明

x = np.array([[1, 2,3,4,5],#共三3样本,有5个类别
              [1, 2,3,4,5],
              [1, 2,3,4,5]]).astype(np.float32)
y = np.array([1, 1, 0])#这3个样本的标签分别是1,1,0即两个是第2类,一个是第1类
x = torch.from_numpy(x)
y = torch.from_numpy(y).long()
 
soft_out = F.softmax(x,dim=1)#给每个样本的pred向量做指数归一化---softmax

log_soft_out = torch.log(soft_out)#将上面得到的归一化的向量再point-wise取对数

loss = F.nll_loss(log_soft_out, y)#将归一化且取对数后的张量根据标签求和,实际就是计算loss的过程
 
"""
这里的loss计算式根据batch_size归一化后的,即是一个batch的平均单样本的损失,迭代一次模型对一个样本平均损失。
在多个epoch训练时,还会求每个epoch内的总损失,用于衡量epoch之间模型性能的提升。
"""

print(soft_out)
print(log_soft_out)
print(loss)
   
loss = F.cross_entropy(x, y)
print(loss)

输出:

  softmax:
  tensor([[0.0117, 0.0317, 0.0861, 0.2341, 0.6364],
  [0.0117, 0.0317, 0.0861, 0.2341, 0.6364],
  [0.0117, 0.0317, 0.0861, 0.2341, 0.6364]])

  tensor([[-4.4519, -3.4519, -2.4519, -1.4519, -0.4519],
  [-4.4519, -3.4519, -2.4519, -1.4519, -0.4519],
  [-4.4519, -3.4519, -2.4519, -1.4519, -0.4519]])

  tensor(3.7852)

结果分析

F.softmax(x,dim=1):一行和为1 sum([0.0117, 0.0317, 0.0861, 0.2341, 0.6364])=1

softmax函数公式

torch.log(soft_out):对softmax的结果进行取对数

a =pow(math.e,1)/(pow(math.e,1)+pow(math.e,2)+pow(math.e,3)+pow(math.e,4)+pow(math.e,5)) # 0.011656230956039609近似0.0117

print(math.log(0.011656230956039609)) # -4.4519

F.nll_loss(log_soft_out, y):对取对数的结果,根据y的值,(y值是索引),找到对应的值,黄色部分,各自取相反数再相加,求平均

(3.4519+3.4519+4.4519/3 = 3.7852

所以:

cross_entropy函数:softmax->log->nll_loss

特别注意⭐⭐

  全连接层的输出形状为[batch_size,type_num]。含义是第i个样本为第j类的概率。

以上是关于pytorch交叉熵损失函数 F.cross_entropy()的主要内容,如果未能解决你的问题,请参考以下文章

Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解

使用 PyTorch 的交叉熵损失函数是不是需要 One-Hot Encoding?

PyTorch 交叉熵损失函数内部原理简单实现

pytorch交叉熵损失函数 F.cross_entropy()

PyTorch使用交叉熵作为语义分割损失函数遇到的坑

语义分割损失函数