机器学习算法应用和学习_2_理论篇2.2 M_分类_逻辑回归

Posted everda

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习算法应用和学习_2_理论篇2.2 M_分类_逻辑回归相关的知识,希望对你有一定的参考价值。

一、原理阐述


算法类型:监督学习_分类算法

输入:数值型或标称型(标称型需要独热编码)

V1.0


   用回归方式解决二分类问题,通过引入一个Sigmoid函数将中间y值映射到实际二分类的y值上。

二、算法选择


 

三、算法过程


 

 1.Sigmoid函数是一个x值域是(-∞,+∞),y值域是(0,1)的单调递增函数;

2.预测y值>0.5为1类,<0.5为0类,y值也可以解释为为1和0类的概率;

3.同样使用“最小二乘”概念,求得最佳方程,得到目标函数;

4.要使得目标函数达到最小,需要采用一种称为“梯度下降”的算法,其过程大致为:在一个类似山脉的超平面上,从任一点出发,计算偏导数,沿着偏导数为负的方向前进一定距离(称为“学习速率”),直到初始点与移动后的点差值变化很小(称为“收敛”)为止。

度量:最小二乘,目标函数:最小二乘,目标函数解法:梯度下降

四、特点


优点:实现简单,易于理解和实现;计算代价不高,速度很快,存储资源低。

缺点:容易欠拟合,分类精度可能不高。对异常值和缺失值敏感

五、代码API


 

以上是关于机器学习算法应用和学习_2_理论篇2.2 M_分类_逻辑回归的主要内容,如果未能解决你的问题,请参考以下文章

机器学习第21篇 - 特征递归消除RFE算法 理论

我的机器学习/深度学习之路--LDA线性判别分析

机器学习实战教程:朴素贝叶斯基础篇之言论过滤器

机器学习实战教程:朴素贝叶斯实战篇之新浪新闻分类

python_机器学习_最临近规则分类(K-Nearest Neighbor)KNN算法

转载 Deep learning:七(基础知识_2)