线性回归-API
Posted 沐军
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了线性回归-API相关的知识,希望对你有一定的参考价值。
- 线性回归的定义
- 利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式
线性回归的分类
- 线性关系
- 非线性关系
- 损失函数
- 最小二乘法
线性回归优化方法
- 正规方程
- 梯度下降法
- 利用矩阵的逆,转置进行一步求解
- 只是适合样本和特征比较少的情况
- 梯度下降法 — 循序渐进
- 梯度的概念
- 单变量 -- 切线
- 多变量 -- 向量
- 梯度下降法中关注的两个参数
- α -- 就是步长
- 步长太小 -- 下山太慢
- 步长太大 -- 容易跳过极小值点(*)
- 为什么梯度要加一个负号
- 梯度方向是上升最快方向,负号就是下降最快方向
- α -- 就是步长
- 梯度的概念
- 梯度下降法和正规方程选择依据
- 小规模数据:
- 正规方程:LinearRegression(不能解决拟合问题)
- 岭回归
- 大规模数据:
- 梯度下降法:SGDRegressor
- 小规模数据:
- sklearn.linear_model.LinearRegression(fit_intercept=True)
- 通过正规方程优化
- 参数
- fit_intercept:是否计算偏置
- 属性
- LinearRegression.coef_:回归系数
- LinearRegression.intercept_:偏置
- sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate =‘invscaling‘, eta0=0.01)
- SGDRegressor类实现了随机梯度下降学习,它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。
- 参数:
- loss:损失类型
- loss=”squared_loss”: 普通最小二乘法
- fit_intercept:是否计算偏置
- learning_rate : string, optional
- 学习率填充
- ‘constant‘: eta = eta0
- ‘optimal‘: eta = 1.0 / (alpha * (t + t0)) [default]
- ‘invscaling‘: eta = eta0 / pow(t, power_t)
- power_t=0.25:存在父类当中
- 对于一个常数值的学习率来说,可以使用learning_rate=’constant’ ,并使用eta0来指定学习率。
- loss:损失类型
- 属性:
- SGDRegressor.coef_:回归系数
- SGDRegressor.intercept_:偏置
以上是关于线性回归-API的主要内容,如果未能解决你的问题,请参考以下文章