机器学习实战第五章Logistic回归

Posted 2020-12-27 weiququ

def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             #convert to NumPy matrix
    labelMat = mat(classLabels).transpose() #convert to NumPy matrix
    m,n = shape(dataMatrix)
    alpha = 0.001
    maxCycles = 500
    weights = ones((n,1))
    for k in range(maxCycles):              #heavy on matrix operations
        h = sigmoid(dataMatrix*weights)     #matrix mult
        error = (labelMat - h)              #vector subtraction
        weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
    return weights

这是书中梯度上升算法的代码，但看到倒数第三行和倒数第二行的时候就懵逼了，书中说这里略去了一个简单的数据推导，嘤嘤嘤，想了一会没想出来，于是乎就百度看看大神的解释，这是找到的一篇解释的比较好的，仔细一看发现是在Ag的机器学习视频中讲过的，忘了。。。

Sigmoid函数: $g(z)=frac{1}{1+e^{-z}}$

　　$h_{ heta }(x)=g( heta ^{T}x)$

这里$ heta$和书中w一样，表示系数

代价函数如下，代价函数是用来计算预测值（类别）与实际值（类别）之间的误差的

　　$cost(h_{ heta} (x),y)=left{egin{matrix}
　　-log(h_{ heta}(x)), y=1\\
　　-log(1-h_{ heta}(x)), y=0end{matrix} ight.$

写在一起表示为:

　　$cost(h_{ heta} (x),y)=-ylog(h_{ heta}(x))-(1-y)log(1-h_{ heta}(x))$

 总体的代价函数为：

　　$J( heta)=frac{1}{m}sum_{m}^{i=1}cost(h_{ heta} (x^{(i)}),y^{(i)})=frac{1}{m}sum_{m}^{i=1}-y^{(i)}log(h_{ heta}(x^{(i)}))-(1-y^{(i)})log(1-h_{ heta}(x^{(i)}))$

要使误差最小，即求$J( heta)$最小，也可以转化成就$-J( heta)$的最大值，可以用梯度上升算法来求最大值，

　　　　$ heta := heta+ alpha frac{partial J( heta )}{partial heta_{j}}$

下面是推导过程：

　　

所以权重的迭代更新公式为：  

　　$ heta_{j} = heta_{j}+ alpha sum_{m}^{i=1}(y_{i}-h_{ heta}(x^{(i)}))x^{(i))}$