彻底理解 softmax、sigmoid、交叉熵(cross-entropy)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了彻底理解 softmax、sigmoid、交叉熵(cross-entropy)相关的知识,希望对你有一定的参考价值。

参考技术A sigmoid 函数也叫S函数,因为它的函数曲线的形状像字母 S,由此得名。其形式为:

sigmoid 函数的输入是一个标量,输出也是一个标量,是一个标量到标量的映射。从函数曲线或函数表达式可以看出,sigmoid 函数的定义域为全体实数 ,值域为 (0,1) 区间,由此可以发现,sigmoid 函数能够起到将任意数值放缩到 (0,1) 区间内部。sigmoid 函数过去经常作为神经网络的激活函数,这是因为一方面 sigmoid 函数能够将那些过大或过小的数值缩放到 (0,1) 区间内部,同时还可以保持其相对大小;另一方面 sigmoid 函数的导数 ,可以发现 sigmoid 函数的导数可以由 sigmoid 本身直接得到,这个特性使得 sigmoid 函数在神经网络的反向传播过程中的求导十分容易。然而现在更常用的激活函数是形式更为简单的 ReLU 函数 。

值得一提的是,sigmoid 函数的原函数叫做 softplus 函数,其形式为:

softplus 函数的值域为 ,可用来产生正态分布的均值 和标准差 ,softplus 函数的名字来源于 函数的平滑形式。

softplus 函数的导数是 sigmoid 函数 。

softmax 函数,顾名思义是一种 max 函数,max 函数的作用是从一组数据中取最大值作为结果,而 softmax 也起到类似的作用,只是将这组数据进行一些处理,使得计算结果放缩到 (0,1) 区间内。

softmax 函数首先将这组数据中的每一个值 都转换为自然对数 的指数,即 ,随后将每个转换后的数据 都除以所有转换后数据的和 ,即 ,就是 softmax 对数据 的输出结果。这里需要注意的是,softmax 的作用是将一组数据的每一个都转换到 (0,1) 区间内,输入是一个向量,输出也是一个向量,是一个从向量到向量的映射;而 max 函数是将一组数据中的最大值作为输出,输入是一个向量,输出则是一个标量(一个数),是一个从向量到标量的映射,max 函数将输入数据的维度进行了压缩。

softmax 函数可视作 sigmoid 函数在向量上的扩展形式。sigmoid 函数的输入为一个标量,作用是将其放缩到 (0,1) 区间内,而 softmax 的输入为一个向量,输出也是一个向量,作用与 sigmoid 相同,只是 softmax 函数会保持这个向量内每个分量互相之间的相对大小(分量小的在 softmax 后依然小,分量大的在 softmax 后依然大)。考虑一个 2 维向量 , , ,当 时, ,其形式与 sigmoid 函数一致。

交叉熵 函数是用于计算两个概率分布之间的差异,其输入为两个分布,输出为一个标量,该标量表示两个分布之间的差异程度。交叉熵的形式为:

这里需要注意的是,在交叉熵函数中,交换分布 p 和 q 的顺序会影响交叉熵函数的输出结果,因为交叉熵函数 的作用是以分布 p 为基准,对分布 q 进行评估,将其交换顺序会导致评估的基准不一致, 与 的意义并不相同。

在深度学习中,经常将交叉熵函数与 softmax 函数相关联,这是因为 softmax 函数对一组数据的每个数据进行计算后,可以将这组数据中的每一个都映射到 (0,1) 区间上,并且其和为 1,符合概率的定义,而交叉熵恰恰是对概率分布进行计算,因此通常将 softmax 函数的输出结果作为交叉熵函数的输入,将二者构造为复合函数。

在深度学习的训练过程中,通常将每个输入的真实标签值设置为分布 p,预测值设置为分布 q,利用交叉熵函数计算出的值作为损失值,将其用于后续的反向传播计算梯度并更新权重。在这里,设 softmax 函数对输入数据 预测为第 类的概率为 ,输入数据 属于第 类的真实概率为 ,那么交叉熵函数的形式为:

根据以上公式,对模型预测的第 类的导数为:

softmax 函数对输入的导数的形式可由 softmax 本身得到,其形式十分简单(由于自然对数 的存在):

将 softmax 函数的输出作为交叉熵函数中的概率 ,即 ,那么交叉熵函数对 softmax 函数的输入 的导数为:

由于这里将 softmax 函数视作 p,即:

将 softmax 用 p 代替,也就是将 替换为 :

最后将上式代入到交叉熵函数的导数 中,即可得到交叉熵函数对输入 的导数:

可以看到交叉熵函数与 softmax 函数结合使用,可以得到十分简洁的导数形式,只需将 softmax 的输出结果减 1 再与对应的标签值 相乘即可得到在第 类上的导数,对每个类别分别计算相应的导数,即可得到我们需要的梯度。在许多任务中,标签值往往用 one-hot 形式表示, 一般为 1,那么只需将 softmax 函数的计算结果减 1 即可得到本次传播的第 类的导数值,这使得反向传播中梯度的计算变得十分简单和方便。

具有对数损失的 TensorFlow 单 sigmoid 输出与具有稀疏 softmax 交叉熵损失的两个线性输出,用于二进制分类

【中文标题】具有对数损失的 TensorFlow 单 sigmoid 输出与具有稀疏 softmax 交叉熵损失的两个线性输出,用于二进制分类【英文标题】:Tensorflow single sigmoid output with log loss vs two linear outputs with sparse softmax cross entropy loss for binary classification 【发布时间】:2018-05-23 04:40:33 【问题描述】:

我正在尝试在 TensorFlow 中实现二进制分类器。如果我在最后一层有两个普通输出(即没有激活)并使用tf.losses.sparse_softmax_cross_entropy,我的网络会按预期进行训练。但是,如果我将输出层更改为使用tf.sigmoid 激活生成单个输出并使用tf.losses.log_loss 作为损失函数,我的网络不会训练(即损失/准确性没有提高)。

这是我的输出层/损失函数在第一个(即工作)案例中的样子:

out = tf.layers.dense(prev, 2)
loss = tf.losses.sparse_softmax_cross_entropy(labels=y, logits=out)

在第二种情况下,我有以下内容:

out = tf.layers.dense(prev, 1, activation=tf.sigmoid)
loss = tf.losses.log_loss(labels=y, predictions=out)

张量y0/1值的向量;它不是单热编码的。在第一种情况下,网络按预期学习,但在第二种情况下则不然。除了这两行之外,其他一切都保持不变。

我不明白为什么第二个设置不起作用。有趣的是,如果我在 Keras 中表达相同的网络并使用第二种设置,它就可以工作。在第二种情况下,我是否使用了错误的 TensorFlow 函数来表达我的意图?我想产生一个单一的 sigmoid 输出并使用二元交叉熵损失来训练一个简单的二元分类器。

我正在使用 Python 3.6 和 TensorFlow 1.4。

Here 是一个小型、可运行的 Python 脚本,用于演示该问题。请注意,您需要从 Kaggle 下载 StatOil/C-CORE 数据集才能按原样运行脚本。

谢谢!

【问题讨论】:

我也遇到了同样的问题。 Sigmoid 和 log_loss 在 keras 中有效,但在 tensorflow 中没有学习发生。但是, sparse_softmax_cross_entropy 似乎有效。你找出问题所在了吗? 很遗憾没有。我仍然有兴趣了解我们为什么会看到这个问题。 【参考方案1】:

在两个输出上使用sigmoid 激活不会给出概率分布:

import tensorflow as tf
import tensorflow.contrib.eager as tfe
tfe.enable_eager_execution()

start = tf.constant([[4., 5.]])
out_dense = tf.layers.dense(start, units=2)
print("Logits (un-transformed)", out_dense)
out_sigmoid = tf.layers.dense(start, units=2, activation=tf.sigmoid)
print("Elementwise sigmoid", out_sigmoid)
out_softmax = tf.nn.softmax(tf.layers.dense(start, units=2))
print("Softmax (probability distribution)", out_softmax)

打印:

Logits (un-transformed) tf.Tensor([[-3.64021587  6.90115976]], shape=(1, 2), dtype=float32)
Elementwise sigmoid tf.Tensor([[ 0.94315267  0.99705648]], shape=(1, 2), dtype=float32)
Softmax (probability distribution) tf.Tensor([[ 0.05623185  0.9437682 ]], shape=(1, 2), dtype=float32)

您也可以在单个 logit 上使用 tf.sigmoid 而不是 tf.nn.softmax,然后将另一个输出设置为减去该值。

【讨论】:

我没有在两个输出上使用tf.sigmoid。我在单个输出上使用它并使用tf.losses.log_loss 计算损失。 哈,没错。所以tf.losses.log_loss 需要一个单热编码向量,但这与标量分布情况的稀疏标记相同。但问题是什么? tf.losses.log_loss(labels=[[label]], predictions=[[prediction_scalar]]) 等同于 sparse_softmax_cross_entropy(labels=[[label]], logits=[[1. - prediction_scalar, prediction_scalar]])label in [0, 1]

以上是关于彻底理解 softmax、sigmoid、交叉熵(cross-entropy)的主要内容,如果未能解决你的问题,请参考以下文章

具有对数损失的 TensorFlow 单 sigmoid 输出与具有稀疏 softmax 交叉熵损失的两个线性输出,用于二进制分类

Tensorflow四种交叉熵函数计算公式:tf.nn.cross_entropy

Softmax函数与交叉熵

tensorflow中四种不同交叉熵函数tf.nn.softmax_cross_entropy_with_logits()

均方差交叉熵及公式推导

交叉熵损失函数