为啥在 sotfmax_cross_entropy_with_logits 中将 logit 解释为“未缩放的对数概率”？

Posted 2023-03-12

【中文标题】为啥在 sotfmax_cross_entropy_with_logits 中将 logit 解释为“未缩放的对数概率”？

【英文标题】：why explain logit as 'unscaled log probabililty' in sotfmax_cross_entropy_with_logits?为什么在 sotfmax_cross_entropy_with_logits 中将 logit 解释为“未缩放的对数概率”？

【发布时间】：2018-07-07 03:05:06

【问题描述】：

在 tensorflow 文档 (softmax_cross_entropy_with_logits) 中，他们说“logits : unscaled log probablilty”。什么是“对数概率”？ 首先，我知道'logits' 是'output before normalization' 或'score for class'。

logits = tf.matmul(X,W) + b
hypothesis = tf.nn.softmax(logits)

如果我通过tf.matmul(X,W) + b 得到[1.5, 2.4, 0,7]，那么[1.5, 2.4, 0,7] 就是logits(score)，这是未缩放的。我能理解到这个阶段。但是，我不明白为什么[1.5, 2.4, 0.7] 是'log probability'。

【问题讨论】：

What is the meaning of the word logits in TensorFlow?的可能重复

谢谢大家！我找到了这篇文章。它几乎解决了我的问题。 stats.stackexchange.com/questions/52825/…

【参考方案1】：

如果您将 softmax 函数的输出解释为概率（就像我们喜欢做的那样），那么很容易看出“对数概率”来自：

softmax函数是

\expz_k/\sum_i\expz_i,

以 z_i 作为“logits”的组成部分。分母只负责规范化，即它确保所有输出总和为 1（如果我们想将它们解释为一组互斥类的概率，这是有道理的）。所以，看分子，softmax函数的输出基本上就是exp(z)。如果我们将其解释为概率，则 z（“logits”）是未归一化概率的对数。

【讨论】：

显然这里不支持 Tex 格式。请使用可用选项相应地格式化您的方程式。

有哪些选择？如果您知道更好的方法，请随时编辑！

这个想法不是让我（或其他人）编辑，而是让您作为新用户熟悉可用选项，并适应您的回答他们（而不是忽略他们或假装他们与实际不同）！它将有助于您帖子的外观和可读性...

【参考方案2】：

谢谢大家！

我找到了这篇文章。它几乎解决了我的问题。

https://stats.stackexchange.com/questions/52825/what-does-the-logit-value-actually-mean