如何使用 tensorflow softmax_cross_entropy_with_logits 缩放和重新规范化输出以解决类不平衡

Posted 2023-03-12

【中文标题】如何使用 tensorflow softmax_cross_entropy_with_logits 缩放和重新规范化输出以解决类不平衡

【英文标题】：how to scale and renormalize the output with tensorflow softmax_cross_entropy_with_logits for class imbalance

【发布时间】：2018-06-20 23:58:46

【问题描述】：

我想缩放模型输出并对其进行重新规范化以处理类不平衡问题。例如，如果我有 10 个标签输出 y_logits 和它们的 softmax y_pred 和之前的 p，那么新的输出应该是：

y_pred /= prior
y_pred /= sum(y_pred)

问题是 tensorflow 中的 softmax_cross_entropy_with_logits 函数采用 logits y_logits 而我需要在 y_pred 上进行此缩放。知道如何在不自己实施交叉熵损失的情况下做到这一点吗？

【问题讨论】：

这对***.com/questions/40198364/…有帮助吗？

我看到有人建议用sparse_softmax_cross_entropy 做这件事，有没有办法用softmax_cross_entropy_with_logits 做类似的事情？

同样的技巧适用于两者

【参考方案1】：

对于那些面临同样问题的人，我通过以数值稳定的方式重新实现 CE 找到了一个很好的解决方案。如果你想知道为什么你不应该直接实现 CE，因为它的公式是 -∑ p_i log(q_i)，看看这个 tutorial。

我用来应用先验的实现如下：

def modified_CE(logits=None, labels=None, priors=None):
    # subtracting the maximum value to prevent inf results
    # you should change the shape of your logits based on your data
    scaled_logits = logits - tf.reshape(tf.reduce_max(logits,1),shape=(7500,1))
    # renormalize your logits as a finale step for the log softmax function
    normalized_logits = scaled_logits - tf.reshape(tf.reduce_logsumexp(scaled_logits,1),shape=(7500,1))

    # apply the priors
    normalized_logits -= tf.log(np.array(priors,dtype=np.float32))
    # renormalize 
    normalized_logits -= tf.reshape(tf.reduce_logsumexp(normalized_logits,1),shape=(7500,1))

    return tf.reduce_mean(-tf.reduce_sum(labels[0,:,:]*normalized_logits,1))