我的交叉熵函数的实现有啥问题？

Posted 2023-03-12

【中文标题】我的交叉熵函数的实现有啥问题？

【英文标题】：What is the problem with my implementation of the cross-entropy function?我的交叉熵函数的实现有什么问题？

【发布时间】：2018-05-02 19:10:40

【问题描述】：

我正在学习神经网络，我想在 python 中编写一个函数cross_entropy。其中定义为

其中N 是样本数，k 是类数，log 是自然对数，如果样本 i 在类中，t_i,j 为 1 j 和 0 否则，p_i,j 是样本 i 在类 j 中的预测概率。 为避免对数出现数值问题，请将预测剪裁到 [10^−12, 1 − 10^−12] 范围内。

根据上面的描述，我把预测剪裁到[epsilon, 1 − epsilon]范围，然后根据上面的公式计算cross_entropy来写代码。

def cross_entropy(predictions, targets, epsilon=1e-12):
    """
    Computes cross entropy between targets (encoded as one-hot vectors)
    and predictions. 
    Input: predictions (N, k) ndarray
           targets (N, k) ndarray        
    Returns: scalar
    """
    predictions = np.clip(predictions, epsilon, 1. - epsilon)
    ce = - np.mean(np.log(predictions) * targets) 
    return ce

以下代码将用于检查函数cross_entropy是否正确。

predictions = np.array([[0.25,0.25,0.25,0.25],
                        [0.01,0.01,0.01,0.96]])
targets = np.array([[0,0,0,1],
                  [0,0,0,1]])
ans = 0.71355817782  #Correct answer
x = cross_entropy(predictions, targets)
print(np.isclose(x,ans))

以上代码的输出为False，也就是说我定义函数cross_entropy的代码不正确。然后我打印cross_entropy(predictions, targets) 的结果。它给出了0.178389544455，正确的结果应该是ans = 0.71355817782。谁能帮我检查一下我的代码有什么问题？

【参考方案1】：

您并没有那么遥远，但请记住，您取的是 N 个总和的平均值，其中 N = 2（在本例中）。所以你的代码可以读取：

def cross_entropy(predictions, targets, epsilon=1e-12):
    """
    Computes cross entropy between targets (encoded as one-hot vectors)
    and predictions. 
    Input: predictions (N, k) ndarray
           targets (N, k) ndarray        
    Returns: scalar
    """
    predictions = np.clip(predictions, epsilon, 1. - epsilon)
    N = predictions.shape[0]
    ce = -np.sum(targets*np.log(predictions+1e-9))/N
    return ce

predictions = np.array([[0.25,0.25,0.25,0.25],
                        [0.01,0.01,0.01,0.96]])
targets = np.array([[0,0,0,1],
                   [0,0,0,1]])
ans = 0.71355817782  #Correct answer
x = cross_entropy(predictions, targets)
print(np.isclose(x,ans))

在这里，我认为如果您坚持使用np.sum()，会更清楚一点。此外，我在np.log() 中添加了 1e-9 以避免在您的计算中出现 log(0) 的可能性。希望这会有所帮助！

注意：根据@Peter 的评论，如果您的 epsilon 值大于0，1e-9 的偏移量确实是多余的。

【讨论】：

是否有任何预先构建的 cross_entropy 函数，它将 logits 和预测作为输入并输出成本？

嘿，@Kalpit。在sklearn 库中应该有一个log-loss 或cross-entropy loss 方法。这是一个链接：scikit-learn.org/stable/modules/generated/….

【参考方案2】：

def cross_entropy(x, y):
    """ Computes cross entropy between two distributions.
    Input: x: iterabale of N non-negative values
           y: iterabale of N non-negative values
    Returns: scalar
    """

    if np.any(x < 0) or np.any(y < 0):
        raise ValueError('Negative values exist.')

    # Force to proper probability mass function.
    x = np.array(x, dtype=np.float)
    y = np.array(y, dtype=np.float)
    x /= np.sum(x)
    y /= np.sum(y)

    # Ignore zero 'y' elements.
    mask = y > 0
    x = x[mask]
    y = y[mask]    
    ce = -np.sum(x * np.log(y)) 
    return ce

def cross_entropy_via_scipy(x, y):
        ''' SEE: https://en.wikipedia.org/wiki/Cross_entropy'''
        return  entropy(x) + entropy(x, y)

from scipy.stats import entropy, truncnorm

x = truncnorm.rvs(0.1, 2, size=100)
y = truncnorm.rvs(0.1, 2, size=100)
print np.isclose(cross_entropy(x, y), cross_entropy_via_scipy(x, y))