2-2 感知机梯度下降法的算法过程

Posted 2022-03-12 windmissing

输入：
训练数据集$T=(x_1,y_1),(x_1,y_1),\cdots ,(x_n,y_n)$$，其中
$$\begin{gathered} x_i\in R^n \\ {y}_i\in y=-1,+1, \\ i=1,2,\cdots ,n \end{gathered}$$
学习率为$\eta$$
输出：
w, b
感知机模型$$f(x)=sign(w\cdot x+b)$$
过程：

1. 选取初值w_0, b_0
2. 在训练集中选取数据$$(x_i,y_i)$$
3. 如果$y_i(w\cdot x_i+b)\le 0$$，则
   $$\begin{array}{l}w\leftarrow w+\eta y_i{x}_i\\ b\leftarrow b+\eta y_i\end{array}$$
4. 转至2，直至训练集中没有错误分类点
   直观解释：当一个实例点被误分类， 即位于超平面错误的一侧时，则调整w,b的值，使超平面向该误分类点的一侧移动，以减少该误分类点与超平面的距离，直至超平面越过该误分类点使其被正确划分

代码：
https://github.com/windmissing/LiHang-TongJiXueXiFangFa/blob/master/Chapter2/perceptron.ipynb

# 感知机原始形式
def perceptron(X, y, eta):
    w, b = np.zeros(X.shape[1]),0
    while ((y*(w.dot(X.T)+b))<=0).any():
        index = np.random.randint(X.shape[0])
        if y[index]*(w.dot(X[index])+b) <= 0:
            w = w + eta * y[index] * X[index]
            b = b + eta * y[index]
    def f(x):
        return np.sign(w.dot(x)+b)
    return w, b, f