线性回归逻辑回归
Posted m沐七
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了线性回归逻辑回归相关的知识,希望对你有一定的参考价值。
线性回归、逻辑回归
1. 理解
线性回归解决的是回归问题,逻辑回归相当于是线性回归的基础上解决分类问题。
-
线性回归
-
逻辑回归
2. 联系与区别
- 联系:
逻辑回归在线性回归后加了一个sigmoid函数,将线性回归变成一个0~1输出的分类问题。 - 区别:
线性回归 | 逻辑回归 |
---|---|
预测连续的变量(房价预测) | 预测离散的变量(分类,癌症预测) |
拟合函数 | 预测函数 |
最小二乘法 | 似然估计 |
3.神经网络的训练方法:梯度下降法(Gradient descent)
1、先随机初始化一组模型参数。
2、每次迭代更新这组参数,损失函数值也随之减小。
3、当某个特定条件或是终止条件得到满足时,整个训练过程结束。
找让loss最小的时候的w和b,进行梯度下降。
目的:不论是在线性回归还是Logistic回归中,梯度下降主要目的是通过迭代找到目标函数的最小值,或者收敛到最小值。
- 单变量的函数中:梯度是函数的微分,表示函数在某个给定点的切线即斜率。
- 在多变量函数中,梯度是一个向量,向量有方向。梯度的方向就指出了函数在给定点的上升最快的方向,那么梯度的反方向就是函数在给定点下降最快的方向,即损失函数值减小最快的方向。
eg:线性回归
用梯度下降法来拟合某条直线
首先,定义一个代价函数,在此选用均方误差代价函数(也称平方误差代价函数)。均方误差函数就是把预测值和真实值差的平方求和再除以2倍的样本数量。
预测函数:
代价函数的梯度:
步骤:
1、给定待优化连续可微分的函数J(θ),用随机值初始化权重和偏差,学习率或步长,以及一组初始值(真实值)
2、计算待优化函数梯度
3、更新迭代,计算新的梯度
4、调整相应的(权重)值以减小误差
5、重复迭代,直至得到网络权重的最佳值
4.
损失函数Loss Function:定义在单个样本上,算的是一个样本的误差。
代价函数Cost Function:定义在整个训练集上,计算所有样本的误差,也就是损失函数的平均。
目标函数Object Function:定义为最终需要优化的函数。
Object Function = Cost Function + 正则化项(防止过拟合)
以上是关于线性回归逻辑回归的主要内容,如果未能解决你的问题,请参考以下文章
如何在 Python 中统计比较两种不同线性回归模型的截距和斜率?
我想在 GEKKO 数据的非线性回归中的给定点施加值和斜率约束,请帮助我