数据挖掘之分类算法---knn算法(有matlab样例)

Posted 2020-10-04 zhchoutai

knn算法(k-Nearest Neighbor algorithm).是一种经典的分类算法.

注意,不是聚类算法.所以这样的分类算法必定包含了训练过程.

然而和一般性的分类算法不同,knn算法是一种懒惰算法.它并不是

像其它的分类算法先通过训练建立分类模型.,而是一种被动的分类

过程.它是边測试边训练建立分类模型.

算法的一般描写叙述步骤例如以下:

1.首先计算每一个測试样本点到其它每一个点的距离.

这个距离能够是欧氏距离,余弦距离等.

2. 然后取出距离小于设定的距离阈值的点.

这些点即为依据阈值围绕在測试样本最邻近的点.

3.选出这些邻近点中比例最大的点簇的类.

那么就将概測试点归入此类.

注意：knn算法的开销非常大,由于要计算每一个样本点到其它全部点的距离.

    knn算法的距离一般要依据实际样本点的情况来选取.

    knn算法的距离阈值要依据样本的分散集中程度来选取.经验一般选取样本点集合的均方差.

    

以下是一个matlab中运用knn函数分类的样例.

clc;
clear;

load 'Train_Data.mat' %加载训练数据

load 'Train_Label.mat' %加载训练分类标签


test_data=[43;
           42;
           192;
           193];       %測试数据

%knnclassify为matlab提供的knn分类函数.
    %參数test_data是待分类的測试数据
    %Train_Data是用于knn分类器训练的数据
    %Train_Label是训练的分类标签
    %3,即为knn的k值.意思是取某个待分类測试样本点周围三个样本点
    %'cosine'---为距离度量,这里採用余弦距离
    %'random'---为分类规则.怎样对k个临近点进行分类.
    % 'k'--即为对測试数据的knn分类结果的类标签

k=knnclassify(test_data,Train_Data',Train_Label',3,'euclidean','random');

Train_Data.mat截图例如以下：

Train_Label.mat截图例如以下：

k结果截图例如以下:

转载请注明作者：小刘