李航老师的《统计学习方法》第二章算法的matlab程序

Posted CYTing

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了李航老师的《统计学习方法》第二章算法的matlab程序相关的知识,希望对你有一定的参考价值。

参考了http://blog.sina.com.cn/s/blog_bceeae150102v11v.html#post

 


% 感知机学习算法的原始形式,算法2.1参考李航《统计学习方法》书中第二章的算法P29

close all
clear all
clc
X=[3,3;4,3;1,1];Y=[1,1,-1];%训练数据集及标记
learnRate=1;%学习率
Omega=zeros(1,size(X,2))
b=0 %% ω和b的初值
i=1;k=0;
while 1
if Y(i)*(sum(Omega.*X(i,:))+b)<=0 %该点未被正确分类,调整之
Omega=Omega+learnRate*Y(i)*X(i,:);
b=b+learnRate*Y(i);
i=1;%调整w,b之后,重新对每个点检查
k=k+1;%记录迭代次数
fprintf(‘迭代次数k=%d‘,k);
omega=sprintf(‘%2.0f\t‘,Omega)
fprintf(‘b=%d\n‘,b);
continue;
else
i=i+1;
end
if i>size(X,1)
break;
end
end
w=Omega
b

% 感知机学习算法的对偶形式,算法2.2参考李航《统计学习方法》书中第二章的算法P33

close all
clear all
clc
X=[3,3;4,3;1,1];Y=[1,1,-1];%训练数据集及标记
learnRate=1;%学习率(0,1]
alpha=zeros(1,size(X,1))
b=0 %%alpha和b的初值 size(X,dim) dim=1返回行数(有几个x点),dim=2返回列数
G=X*X‘;%%计算Gram矩阵
i=1;k=0;
while 1
if Y(i)*(sum(alpha.*Y.*G(i,:))+b)<=0 %该点未被正确分类,调整之
alpha(i)=alpha(i)+1;
b=b+Y(i);
i=1;%调整w,b之后,重新对每个点检查
k=k+1;%记录迭代次数
fprintf(‘迭代次数k=%d‘,k);
Alpha=sprintf(‘%2.0f\t‘,alpha)
fprintf(‘b=%d\n‘,b);
continue;%跳过循环体中的某些语句。当在循环体内执行到该语句的时候,程序将跳过循环体内中剩下的所有语句,继续执行下一次循环。
else
i=i+1;
end
if i>size(X,1)
break;%终止循环的执行,当在循环体内执行到break语句的时候,程序将跳出该循环体,继续执行循环体外的下一个语句
end
end
w=alpha.*Y*X % *是乘法,即矩阵乘法,.*是点乘,即对应元素相乘
b

以上是关于李航老师的《统计学习方法》第二章算法的matlab程序的主要内容,如果未能解决你的问题,请参考以下文章

李航统计学习方法(第二版):k 近邻算法简介

李航统计学习方法(第二版)基本概念:统计学习方法三要素

李航统计学习方法(第二版)(十四):线性支持向量机与软间隔最大化

机器学习推荐书籍

统计算法学习梳理

李航统计学习方法--8. 提升方法(详细推导)