统计学习随机梯度下降法求解感知机模型
Posted 隅子酱的blog
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了统计学习随机梯度下降法求解感知机模型相关的知识,希望对你有一定的参考价值。
1. 感知机学习模型
2.感知机算法的原始形式
输入:
训练数据集 T={(x1,y1),(x2,y2),...,(xn,yn)},其中x1∈Rn,yi={+1,-1},i=1, 2, ..., n,学习率η(0 < η<= 1)
输出:
w, b;感知机模型 f(x) = sign(w·x + b)
过程:
1, 选取初值w, b
2, 在训练集中取数据(xi,yi)
3, 若 yi(w·xi+ b) <= 0 即分类不正确,则:
w= w + ηyixi
b= b + ηyi
注:因为此时分类不对,所以yi= -1
4, 转至步骤2,直到训练数据集中无误分类点
3.感知机算法的对偶形式
在原始形式中有公式:
w= w + ηyixi
b= b + ηyi
那么假设一共修改了n次,则w,b关于(xi(1),xi(2))的增量分别为:
aiyixi和 aiyi (ai= niη)
即:
若η=1,则ai就是第i个点由于误分类而进行更新的次数,即ai = ni。
ai越大 => 实例点更新次数越多 =>越难正确分类,换句话说:这样的实例对学习结果影响更大!
输入:
线性可分数据集 T={(x1,y1),(x2,y2),...,(xn,yn)},其中x1∈Rn,yi={+1,-1},i=1, 2, ..., n,学习率η(0 < η<= 1)
输出:
感知机模型 f(x) = sign( aiyixi·x + b)
过程:
1, 令a = 0,b = 0
2, 在训练集中取数据(xi,yi)
3, 若
则:
ai= ai + η
b= b + ηyi
4, 转至2直到无误分类数据
而由于对偶形式的训练实例仅以内积形式出现
所以我们预先将训练集中实例间的内积计算出来并以矩阵形式存储,即:产生Gram矩阵(格拉姆矩阵)
G = [ xi, yi ]n*n
以上是关于统计学习随机梯度下降法求解感知机模型的主要内容,如果未能解决你的问题,请参考以下文章