神经网络偏差训练

Question

我创建了一个神经网络并试图训练它，一切都很好，直到我加入了偏见。

从训练时我收集的偏差调整到向上或向下移动预期输出，并且权重趋向于帮助YHat模拟某些功能的值，因此对于双层网络：

output = tanh(tanh(X0W0 + b0)W1 + b1)

在实践中，我发现W将所有权重设置为接近0，并且b几乎回显Y的训练输出。这实质上使得输出对于训练的数据完美地工作，但是当你给它不同类型的数据时它总是给出相同的输出。

这引起了一些混乱。我知道偏见的作用是向上或向下移动激活图，但是当谈到训练时，它似乎使神经网络的整个目的无关紧要。以下是我的培训方法的代码：

def train(self, X, Y, loss, epoch=10000):
    for i in range(epoch):
        YHat = self.forward(X)
        loss.append(sum(Y - YHat))
        err = -(Y - YHat)
        for l in self.__layers[::-1]:
            werr = np.sum(np.dot(l.localWGrad, err.T), axis=1)
            werr.shape = (l.height, 1)
            l.adjustWeights(werr)
            err = np.sum(err, axis=1)
            err.shape = (X.shape[0], 1)
            l.adjustBiases(err)
            err = np.multiply(err, l.localXGrad)

以及调整权重和偏差的代码。（注意：epsilon是我的训练率，lambda是正则化率）

def adjustWeights(self, err):
    self.__weights = self.__weights - (err * self.__epsilon + self.__lambda * self.__weights)

def adjustBiases(self, err):
    a = np.sum(np.multiply(err, self.localPartialGrad), axis=1) * self.__epsilon
    a.shape = (err.shape[0], 1)
    self.__biases = self.__biases - a

以下是我为这个网络所做的数学计算。

Z0 = X0W0 + b0
X1 = relu(Z0)

Z1 = X1W1 + b1
X2 = relu(Z1)

a = YHat-X2

#Note the second part is for regularisation
loss = ((1/2)*(a^2)) + (lambda*(1/2)*(sum(W1^2) + sum(W2^2)))

而现在的衍生品

dloss/dW1 = -(YHat-X2)*relu'(X1W1 + b1)X1
dloss/dW0 = -(YHat-X2)*relu'(X1W1 + b1)W1*relu'(X0W0 + b0)X0

dloss/db1 = -(YHat-X2)*relu'(X1W1 + b1)
dloss/db0 = -(YHat-X2)*relu'(X1W1 + b1)W1*relu'(X0W0 + b0)

我猜我做错了什么，但我不知道它是什么。我尝试在以下输入上训练此网络

X = np.array([[0.0], [1.0], [2.0], [3.0]])
Xnorm = X / np.amax(X)

Y = np.array([[0.0], [2.0], [4.0], [6.0]])
Ynorm = Y / np.amax(Y)

我把它作为输出：

post training:
shape:  (4, 1) 
 [[0.        ]
 [1.99799666]
 [3.99070622]
 [5.72358125]] 

Expected:
 [[0.]
 [2.]
 [4.]
 [6.]]

这似乎很棒...直到你转发其他东西：

shape:  (4, 1) 
 [[2.]
 [3.]
 [4.]
 [5.]]

然后我得到：

shape:  (4, 1) 
 [[0.58289512]
 [2.59967085]
 [4.31654068]
 [5.74322541]]

Expected:
 [[4.]
 [6.]
 [8.]
 [10.]]

我认为“perhapse这是邪恶的'过度拟合我听说过'并且决定添加一些正规化，但即使这并没有真正解决问题，为什么从逻辑角度理解它更快，并且更优化的是将偏差设置为等于输出并使权重为零...有人可以解释我的想法中出了什么问题吗？

这是训练后的网络结构，（注意如果你将输出乘以训练Y的最大值，你将得到预期的输出:)

===========================NeuralNetwork===========================

Layers:

===============Layer  0 :===============

 Weights: (1, 3)

[[0.05539559 0.05539442 0.05539159]]

Biases: (4, 1)

[[0.        ]
 [0.22897166]
 [0.56300199]
 [1.30167665]]


==============Layer  0 :===============


===============Layer  1 :===============

 Weights: (3, 1)

[[0.29443245]
 [0.29442639]
 [0.29440642]]

Biases: (4, 1)

[[0.        ]
 [0.13199981]
 [0.32762199]
 [1.10023446]]


==============Layer  1 :===============


==========================NeuralNetwork===========================

图y = 2x在x = 0处有一个y截距交叉，因此所有偏差'为0都是有意义的，因为我们没有向上或向下移动图表......对吗？

感谢您阅读这篇文章！

编辑：

这是损失图：

编辑2：

我只是试着用一个重量和输出做这个，这是我得到的输出结构：

===========================NeuralNetwork===========================

Layers:

===============Layer  0 :===============

 Weights: (1, 1)

[[0.47149317]]

Biases: (4, 1)

[[0.        ]
 [0.18813419]
 [0.48377987]
 [1.33644038]]


==============Layer  0 :===============


==========================NeuralNetwork===========================

并为此输入：

shape:  (4, 1) 
 [[2.]
 [3.]
 [4.]
 [5.]]

我得到了这个输出：

shape:  (4, 1) 
 [[4.41954787]
 [5.53236625]
 [5.89599366]
 [5.99257962]]

什么时候应该是：

Expected:
 [[4.]
 [6.]
 [8.]
 [10.]]

注意偏差的问题仍然存在，你会认为在这种情况下权重为2，偏差为0。