MATLAB简单实现ID3

Posted 不秩稚童

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MATLAB简单实现ID3相关的知识,希望对你有一定的参考价值。

  再看《MATLAB数据分析与挖掘实战》,简单总结下今天看到的经典的决策树算法——ID3.

  ID3:在决策树的各级节点上,使用信息增益的方法作为属性的选择标准,来帮助确定生成每个节点时所应采取的合适属性。

  关于信息增益,知乎上这个回答也讲的很不错。信息增益=熵 - 条件熵,信息增益越大,说明该条件对事件确定性的影响越大。所以,在决策树中,我们将信息增益值作为测试属性。把测试属性取值相同的样本划为同一个子样本集。

  基本流程:

  ·对当前样本,计算所有属性的信息增益,并将信息增益作为测试属性;

  ·若子样本集的类别属性只含有单个属性,则分支为叶子节点,判断其属性值并贴上相应的,然后返回调用处;否则对子样本集递归调用算法。

  原理看起来有点复杂,其实用MATLAB实现起来及其简单:

%% 使用ID3决策树算法预测销量高低
clear;
% 参数初始化
inputfile = ‘F:\Techonolgoy\MATLAB\file\MTALAB数据分析与挖掘实战\Datasets\chapter5\chapter5\示例程序\data\sales_data.xls‘;   % 销量及其他属性数据

%% 数据预处理
disp(‘正在进行数据预处理...‘);
[matrix,attributes_label,attributes] =  id3_preprocess(inputfile);

%% 构造ID3决策树,其中id3()为自定义函数
disp(‘数据预处理完成,正在进行构造树...‘);
tree = id3(matrix,attributes_label,attributes);

%% 打印并画决策树
[nodeids,nodevalues] = print_tree(tree);
tree_plot(nodeids,nodevalues);

disp(‘ID3算法构建决策树完成!‘);

  ID3缺点:

  ·偏向选择取值最多的即所谓的高度分支属性,不一定最优。

  ·只能处理离散属性。

以上是关于MATLAB简单实现ID3的主要内容,如果未能解决你的问题,请参考以下文章

Python机器学习(十八)决策树之系列一ID3原理与代码实现

day-8 python自带库实现ID3决策树算法

决策树ID3,C4.5,CART算法中某一属性分类后,是不是能运用该属性继续分类

代码片段 - Golang 实现简单的 Web 服务器

ID3算法实现的决策树生成

Python:ID3算法的基本原理及代码复现