浅谈对机器学习算法的一些认识（决策树，SVM，knn最近邻，随机森林，朴素贝叶斯逻辑回归）

Posted 2020-09-28 Flippedkiki

一、决策树

 　　定下一个最初的质点，从该点出发、分叉。（由于最初质点有可能落在边界值上，此时有可能会出现过拟合的问题。

二、SVM

　　  svm是除深度学习在深度学习出现之前最好的分类算法了。它的特征如下：

　　（1）它既可应用于线性（回归问题）分类，也可应用于非线性分类;

　　（2）通过调节核函数参数的设置，可将数据集映射到多维平面上，对其细粒度化，从而使它的特征从二维变成多维，将在二维上线性不可分的问题转化为在多维上线性可　　　　  分的问题，最后再寻找一个最优切割平面（相当于在决策数基础上再寻找一个最优解），因此svm的分类效果是优于大多数的机器学习分类方法的。

　　（3）通过其它参数的设置，svm还可以防止过拟合的问题。

 

三、随机森林

　　为了防止过拟合的问题，随机森林相当于多颗决策树。

 

四、knn最近邻

　　由于knn在每次寻找下一个离它最近的点时，都要将余下所有的点遍历一遍，因此其算法代价十分高。

 

五、朴素贝叶斯

要推事件A发生的概率下B发生的概率（其中事件A、B均可分解成多个事件），就可以通过求事件B发生的概率下事件A发生的概率，再通过贝叶斯定理计算即可算出结果。

 

六、逻辑回归

　　（离散型变量，二分类问题，只有两个值0和1）