为啥将误差乘以神经网络中 sigmoid 的导数？

Posted 2023-03-12

【中文标题】为啥将误差乘以神经网络中 sigmoid 的导数？

【英文标题】：Why multiply the error by the derivative of the sigmoid in neural networks?为什么将误差乘以神经网络中 sigmoid 的导数？

【发布时间】：2018-01-28 22:43:59

【问题描述】：

代码如下：

import numpy as np

# sigmoid function
def nonlin(x,deriv=False):
    if(deriv==True):
        return x*(1-x)
    return 1/(1+np.exp(-x))

# input dataset
X = np.array([  [0,0,1],
                [0,1,1],
                [1,0,1],
                [1,1,1] ])

# output dataset            
y = np.array([[0,0,1,1]]).T

# seed random numbers to make calculation
# deterministic (just a good practice)
np.random.seed(1)

# initialize weights randomly with mean 0
syn0 = 2*np.random.random((3,1)) - 1

for iter in xrange(10000):

    # forward propagation
    l0 = X
    l1 = nonlin(np.dot(l0,syn0))

    # how much did we miss?
    l1_error = y - l1

    # multiply how much we missed by the 
    # slope of the sigmoid at the values in l1
    l1_delta = l1_error * nonlin(l1,True)

    # update weights
    syn0 += np.dot(l0.T,l1_delta)

print "Output After Training:"
print l1

这里是网站：http://iamtrask.github.io/2015/07/12/basic-python-network/

代码的第 36 行，l1 error 乘以带有权重的输入的导数。我不知道为什么会这样做，并且一直在花费数小时试图弄清楚。我刚刚得出的结论是这是错误的，但考虑到有多少人推荐并使用本教程作为学习神经网络的起点，有些事情告诉我这可能是不正确的。

在文章中，他们说

再看一下 sigmoid 图片！如果坡度真的很浅 （接近 0），那么网络要么具有非常高的值，要么非常 低价值。这意味着网络非常自信的一种方式或 另一个。但是，如果网络猜到了接近 (x=0, y=0.5) 那么它不是很自信。

我似乎无法理解为什么 sigmoid 函数的输入的高低与置信度有任何关系。当然，它有多高并不重要，因为如果预测的输出很低，那么它真的会很不自信，不像他们所说的那样应该有信心，因为它很高。

如果您想强调错误，当然最好将l1_error 乘以立方？

考虑到到那时我终于找到了一种很有前途的方法来真正直观地开始学习神经网络，这真是令人失望，但我又错了。如果你有一个很好的地方开始学习，我可以很容易理解，那将不胜感激。

【问题讨论】：

神经网络对低值同样有信心，低结果并不意味着低信心，它只是意味着它确信它不会为此输入触发。为什么你认为信心只与解雇结果有关？

为什么低结果意味着它确信它不会为此输入触发？那和“自信”有什么区别

sigmoid的导数表示它的置信度，它可以根据学习下降或上升到置信度。

这就是文章所说的......但我的问题是如何？在这种情况下，sigmoid 仅用于将值压缩到 0 和 1 之间。当唯一应该表明置信度的东西是预测输出的误差时，它如何表示置信度？

在我看来是这个 SGD/GD 问题。您尝试使用您的 NN 最小误差函数，以获得通过所有权重和偏差计算误差函数的梯度导数。如果你通过权重推导误差函数，部分结果将是 sigmoid 的导数（因为链式法则，只有 sigmoid 是你的激活函数）。我建议您阅读随机梯度下降算法并查看误差反向传播导数。还有一点，如果您使用交叉熵误差函数，您将避免 sigmoid 推导。

【参考方案1】：

首先，这行是正确的：

l1_delta = l1_error * nonlin(l1, True)

来自下一层l1_error 的总误差乘以当前层的导数（这里我认为 sigmoid 是一个单独的层以简化反向传播流）。它被称为chain rule。

关于“网络置信度”的引述可能确实让新手学习者感到困惑。他们在这里的意思是probabilistic interpretation of the sigmoid function。 Sigmoid（或一般softmax）通常是分类问题的最后一层：sigmoid输出一个介于[0, 1]之间的值，可以看作是0或类的概率或置信度强>1。

在这个解释中，sigmoid=0.001 是 0 类的高置信度，对应于网络的小梯度和小更新，sigmoid=0.999 是 1 类的高置信度strong> 和 sigmoid=0.499 对任何类都是低置信度。

请注意，在您的示例中，sigmoid 是最后一层，因此您可以将此网络视为进行二进制分类，因此上述解释是有道理的。

如果您考虑隐藏层中的 sigmoid 激活，置信度解释就更成问题了（尽管有人可能会问，特定神经元的置信度如何）。但是错误传播公式仍然成立，因为链式法则成立。

当然，如果您愿意，最好将 l1_error 立方体化 强调错误？

这是一个重要的注意事项。过去几年神经​​网络的巨大成功至少部分是由于在隐藏层中使用了ReLu instead of sigmoid，正是因为最好不要使梯度饱和。这被称为vanishing gradient problem。所以，相反，你一般不想在反向传播中强调错误。

【参考方案2】：

看看这张图片。如果 sigmoid 函数为您提供 HIGH 或 LOW 值（相当好的置信度），则该值的导数为 LOW。如果您在最陡坡度（0.5）处得到一个值，则该值的导数为 HIGH。

当函数给我们一个不好的预测时，我们想改变我们的权重一个更大的数字，相反，如果预测是好的（高置信度），我们不想改变我们的权重。