ID3和KNN
Posted jianbo1995
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ID3和KNN相关的知识，希望对你有一定的参考价值。
今天看了下这两个算法的思路，比较容易理解，就在这里简单记录一下
ID3算法：决策树中的一种经典算法，属于有监督学习和分类算法，如果遇到连续值需离散处理，以香农熵作为信息获取度量，通过计算特征的信息熵增益来确定一个个的根节点
退出条件如下：
1、标记属性一致 2、无可再分属性，这时就投票决定
缺点：对于连续值的处理效果比较差
KNN：以”距离”为度量，K的值对算法结果影响较大，所针对的数据集不应太大，最终也是投票得出预测结果。
距离可以采用两点间距离，K的解释为距离该预测点的最近K个点，然后根据投票，得到一个可能性最大的标记
以上是关于ID3和KNN的主要内容，如果未能解决你的问题，请参考以下文章