感知机算法-传统和对偶形式

Posted 2020-11-23 yifanrensheng

我们知道较早的分类模型——感知机（1957年）是二类分类的线性分类模型，也是后来神经网络和支持向量机的基础。

1、感知机模型

感知机模型是一种二分类的线性分类器，只能处理线性可分的问题，感知机的模型就是尝试找到一个超平面将数据集分开，在二维空间这个超平面就是一条直线，在三维空间就是一个平面。

2. 感知机模型损失函数

这样我们就得到了初步的感知机模型的损失函数。

我们研究可以发现，分子和分母都含有θ,当分子的θ扩大N倍时，分母的L2范数也会扩大N倍。也就是说，分子和分母有固定的倍数关系。那么我们可以固定分子或者分母为1，然后求另一个即分子自己或者分母的倒数的最小化作为损失函数，这样可以简化我们的损失函数。在感知机模型中，我们采用的是保留分子，即最终感知机模型的损失函数简化为：

3. 感知机模型损失函数的优化方法

4. 感知机模型的算法

5. 感知机模型的算法对偶形式

转自：https://www.cnblogs.com/pinard/p/6042320.html

   

感知机算法传统方式实现：

import numpy as np
from matplotlib import pyplot as plt
x=np.array([[1,1],[3,3],[4,3]])
y=np.array([[-1],[1],[1]])
w=[0,0]
b=0
 
def Train(x,y,w,b):
    length = x.shape[0]
    j=0
    while True:
        count=0
        for i in range(length):
            print("迭代次数为：%d  w=[%d,%d]  b=%d"%(j,w[0],w[1],b))
            if y[i]*(np.dot(w,x[i])+b)<=0: #未被正确分类
            #更新w,b
                 w=w+y[i]*x[i]
                 b=b+y[i]
                 count+=1
                 j+=1
        if count==0:
            f="f(x)=sign(%d*x+%d*x+%d)"%(w[0],w[1],b)
            print("感知机模型为：%s"%f)
            return w,b,f
w,b,f=Train(x,y,w,b)
 
#画分离超平面图
def fun(x):
    y=(-b-w[0]*x)/w[1]
    return y
x_data=np.linspace(0,5)
y_data=fun(x_data)
plt.plot(x_data,y_data,color=‘r‘)
plt.title("perceptron")
 
#画散点图
for i in range(x.shape[0]):
    if y[i] < 0:
        plt.scatter(x[i][0], x[i][1], marker=‘x‘,s=50)
    else:
        plt.scatter(x[i][0], x[i][1])
plt.show()

结果：

   

感知机算法的对偶形式

感知机的对偶形式与原始形式并没有多大的区别，运算的过程都是一样的，但通过对偶形式会事先计算好一些步骤的结果并存储到Gray矩阵中，因此可以加快一些运算速度，数据越多节省的计算次数就越多，因此比原始形式更加的优化

 

import numpy as np
import matplotlib.pyplot as plt
x = np.array([[3, 3], [4, 3], [1, 1]])
y = np.array([[1], [1], [-1]])
 
# 创建gram矩阵
z = np.transpose(x)
m = np.dot(x,z)
print("构建的Gram矩阵为:
",m)
print("-------------------------")
a = np.zeros((x.shape[0], 1))
b = 0
 
def train(x,y,m,a,b):
    length = x.shape[0]
    while True:
        count = 0
        for i in range(length):
            n = np.dot(m[i], a * y ) + b
            if n* y[i] <= 0:
                a[i] = a[i] + 1
                b = b + y[i]
                count += 1
        if count == 0:
            w = np.sum(x * a* y, axis=0)
            print(w,b)
            print("感知机模型:
f(x) = sign(%dx+%dy+(%d))
"%(w[0],w[1],b))
            return w,b
w,b = train(x,y,m,a,b)
 
def fun(x):
    y = (-b -w[0] * x) / w[1]
    return y
x_data = np.linspace(0, 5, 100)  # 创建等差数组
y_data = fun(x_data)
plt.plot(x_data, y_data, color=‘r‘, label=‘y1 data‘)
for i in range(x.shape[0]):
 
    if y[i] < 0:
        plt.scatter(x[i][0], x[i][1], marker=‘x‘, s=50)
    else:
        plt.scatter(x[i][0], x[i][1], s=50)
plt.show()