机器学习之回归简介

Posted 2023-02-17 未央夜色

线性回归

综述

• 目的是找到一个映射，最能反映二者之间的关系。用来预测当有新的样本输入的时候，输入的结果
• 线性回归处理的变量必须是连续的。

欠拟合&过拟合
过拟合跟欠拟合是ml算法表现差的两大原因
欠拟合：样本的容量不够引起的
过拟合：如果有特别多的特征，曲线可以拟合的很好，但是丧失了一般性，导致泛化能力差。设

如何处理正则化？
正则化的方法。

算法

使用最小二乘法计算两个参数。

根据输入的样本情况，计算出对应的b0和b1

结果是
y = b0 + b1t

优化

梯度下降算法

一般使用随机梯度下降的算法。随机梯度下降占据更少的资源，并且可以在新的数据到来的时候就完成更新。

方向：求偏导
步长：学习率，工程上需要自己根据经验设定
如何停止：

• 设定一个值，当上下之间的变化率小于这个数，就认为已经到了底部
• 下一个大于上一个

损失函数

拟合这些样本的方法有很多，为了能使效果达到最好，需要引入损失函数的概念。
损失函数：为了衡量拟合的效果好坏
不同的算法会定义不同的损失函数，但是目的都是一样的，都是为了衡量模型效果的好坏
损失函数的定义：（平方损失法）
L(Y,f(X))=sum((Y−f(x))**2)/2m

过拟合

模型在训练集上表现很好，但是在验证集上表现不佳。原因是模型在训练集上可能为了迎合噪声，导致效果不佳。
通过观察模型的泛化能力，判断出现了过拟合/欠拟合

• 数据集增大，增多学习的数据
• 正则化处理，增大正则化系数。通过加大惩罚，让他更贴近

欠拟合

模型在训练集和测试集上的表现都不好

• 寻找更多特征
• 减小正则的系数

正则化

• L1正则化：基于L1范数。|y - y*|
• L2正则化：基于L2范数。(|y - y*|)**2

评价

• 结果容易理解，计算简便
• 对非线性效果不好
• 数值型和标称型

进阶

正则化方法

逻辑回归

综述

最优化问题。根据现有数据对分类边界线简历回归公式。逻辑回归本质是在找一条判定边界。
1 寻找回归系数
2 带入Sigmoid函数，得到分类取值概率

• 名义上是回归，实际上是个分类学习方法。
• 输出的结果是个概率。

把每个特征上都乘以一个回归系数，然后求和，把求和结果带入到Sigmoid函数中。Sigmoid把结果和分类联系起来
如何确定系数？

确定回归系数

z=w*x+b
w:最佳参数
x:输入的数据
寻找最佳参数？

最优解：

• 牛顿法
• 梯度下降法

逻辑回归不考虑要处理的属性是连续/离散的
sigmoid函数。可以把任意的连续的值映射到0-1之间

多分类：
one VS other法则

算法

梯度下降算法

需要大量计算，每次更新都要遍历所有的数据
针对所有的样本而言，进行计算。

随机梯度下降

针对单个样本进行计算。更新权值。可以在新数据到来的似乎就完成参数更新，而不需要读取整个数据集进行批处理运算

优化

这里损失函数的定义，不能用梯度下降，因为他不是凸的。
这里用对数损失函数
cost(hθ(x),y)= −log(hθ(x)) if y=1
−log(1−hθ(x)) if y=0

评价

• 可解释性强，计算代价不高。
• 能以概率的形式输出，而非0/1
• 速度快，效果好，添加新的特征简单
• 适用于数值型和标称型数据

进阶

正则化