机器学习预测算法有问题

Posted 2023-03-13

【中文标题】机器学习预测算法有问题

【英文标题】：Having trouble in ML prediction algorithm

【发布时间】：2017-05-09 12:58:33

【问题描述】：

我正在学习机器学习，并致力于制作单层神经网络。学习部分进行得很顺利。不幸的是，我不明白如何使用得到的权重syn0 来预测x_test 中测试用例的答案。

代码如下：

import numpy as np

def nonlinear(x, deriv = False):
    if(deriv==True):
        return x*(1-x)

    return 1/(1+np.exp(-x))

def predict(x_test, y_test, ss):
    prediction = nonlinear(np.abs(np.dot(x_test,ss)))
    error = np.mean(np.abs(y_test - prediction))
    print("P:",prediction,"\nE:",error)

x = np.array([[1,0,1],
              [0,1,1],
              [0,1,0],
              [1,1,1]])

y = np.array([[1],
              [0],
              [0],
              [0]])

x_test = np.array([[1,0,0],
                   [1,0,1],
                   [0,1,1],
                   [0,1,0]])

y_test = np.array([[1],
                   [1],
                   [0],
                   [0]])

np.random.seed(1)

syn0 = 2*np.random.random((3,1)) - 1 

for _ in range(100000):

    l0 = x
    l1 = nonlinear(np.dot(l0, syn0))

    l1_error = y - l1

    if (_%10000) == 0:
        print("Error at Gen",_,":", str(np.mean(np.abs(l1_error))))
        print(l1)

    l1_delta = l1_error * nonlinear(l1, deriv = True)

    syn0 += l0.T.dot(l1_delta)

print(syn0)

predict(x_test, y_test, syn0)

【问题讨论】：

什么意思？它已经发生在您调用predict(x_test, y_test, syn0) 的最后一行。该函数打印出您对x_test的预测和错误

但是预测差得很远，误差总是接近 0.5，以 1 为尺度，所有预测都接近 1。

【参考方案1】：

在您的预测函数中，我看不出我们应该包含绝对值的原因，这不是 softmax 函数 AFAIK 的一部分。我修改如下：

def predict(x_test, y_test, ss):
    prediction = nonlinear(np.dot(x_test,ss))
    error = np.mean(np.abs(y_test - prediction))
    print("P:",prediction,"\nE:",error)

这解决了问题，我得到了完美的预测。 [0.9, 0.9, 0.0, 0.0]。您需要注意的一个问题是，您的响应变量是标签，即 0 和 1。而您的模型返回概率。尽管您对错误的启发式方法很好，但就我个人而言，我更愿意截断一下，看看我的分类器是如何执行的。 IE。我会说预测完成后，概率大于 0.5 的就是标签 1，概率小于 0.5 的就是标签 0。

这将更好地衡量模型 IMO 的准确性，但是我可以看到使用连续误差测量的优点，当您的标签分离良好且分类器有信心时，这将非常有效。

我认为你的问题更多是数学而不是实现，如果你想了解更多关于神经网络的信息，我建议this website