机器学习实战四（Logistic Regression）
这一章会初次接触最优化算法，在日常生活中应用很广泛。这里我们会用到基本的梯度上升法，以及改进的随机梯度上升法。
Logistic回归
优点：计算代价不高，易于理解和实现
缺点：容易欠拟合，分裂精度可能不高
原理：根据现有数据堆分类边界线建立回归公式，依次进行分类。
这里的回归其实就是最佳拟合的意思。
1、基于Logistic回归和Sigmoid函数的分类。
我们需要一个这样的函数：接受所有的输入，然后预测出类别。例如，如果只有两类，则输出0和1，有个函数就有类似的性质，Sigmoid函数：
Sigmoid函数的具体计算公式如下：\(\sigma \left( z\right) =\dfrac {1}{1+e^{-z}}\)。
很容易证明界限在0-1之间，这样就保证，无论Sigmoid函数吃进去什么数，吐出来的数一定在0-1之间。
于是Logistic分类器就可以这样构造：对于每个特征乘以一个回归系数，然后相加，将这个数放入Sigmoid函数，如果得出来数字大于0.5，分类为1，否则为0.从这个角度来看，Logistic回归也是一种概率估计。
2、基于最优化方法的最佳回归系数确定
Sigmoid函数的输入记为z,那么：
\(z=w_{0}x_{0}+w_{1}x_{1}+\ldots +w_{n}x_{n}\)，也可以写成：\(z=w^{T}x\),这里的向量w就是最佳回归系数。
这里我们采用的是梯度上升算法，具体原理按下不表，直接看代码。
from matplotlib import pyplot as plt
import numpy as np
import random
# 加载数据集
def loadDataSet():
dataMat = []
labelMat = []
fr = open(‘testSet.txt‘)
for line in fr.readlines():
lineArr = line.strip().split()
dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
labelMat.append(int(lineArr[-1]))
return dataMat, labelMat
# Sigmoid函数
def sigmoid(inX):
return 1.0 / (1 + np.exp(-inX))
# 梯度上升
def gradAscent(dataMatIn, classLabels):
dataMatrix = np.mat(dataMatIn)
labelMat = np.mat(classLabels).transpose()
m, n = dataMatrix.shape
alpha = 0.01
maxCycles = 500
weights = np.ones((n, 1))
for k in range(maxCycles):
h = sigmoid(dataMatrix * weights)
error = (labelMat - h)
weights = weights + alpha * dataMatrix.transpose() * error
return weights梯度上升算法在每次更新回归系数时都需要遍历整个数据集，这样的计算复杂度无疑是太高了。有一种改进的方法是每次只用一个样本点来更新回归系数，这种方法被称为随机梯度上升算法，在新的样本到来时可以增量更新，是一种在线学习算法。
# 随机梯度上升
def stocGradAscent(dataMatrix, classLabel, numIter=150):
dataIndex = np.array(dataMatrix)
classLabel = np.array(classLabel)
m, n = dataMatrix.shape
weights = np.ones(n)
for j in range(numIter):
dataIndex = list(range(m))
for i in range(m):
alpha = 4 / (1.0 + j + i) + 0.0001
randIndex = int(random.uniform(0, len(dataIndex)))
h = sigmoid(np.sum(dataMatrix[randIndex] * weights))
error = classLabel[randIndex] - h
weights = weights + alpha * error * dataMatrix[randIndex]
del dataIndex[randIndex]
return weights书中的预测病马死亡率的例子不难实现，而且介绍到数据预处理在机器学习中的重要性，因为机器学习的算法输入数据是有格式要求的，有时我们获取的数据会存在异常值或者缺失值的时候，就有进行预处理的必要。
Logistic小结：
寻找一个非线性函数Sigmoid的最佳拟合参数，求解过程由最优化算法完成，常用梯度上升算法，但是计算量大，可以由随机梯度上升算法改进，这是一个在线算法，在新数据到来时完成参数更新，不需要重新读取整个数据集。
Next：支持向量机，一种与Logistic回归类似的分类算法，被认为是目前最好的现成的算法之一。
总结：Logistic的原理并不复杂，这里只是初步接触最优化算法，像梯度上升和梯度下降之类的，还需要好好的研究。
References:https://github.com/plantree/Machine-Learing-In-Action/chapter5