机器学习算法:线性回归的改进-岭回归-黑马程序员

Posted 黑马程序员官方

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习算法:线性回归的改进-岭回归-黑马程序员相关的知识,希望对你有一定的参考价值。

学习目标

  • 知道岭回归api的具体使用

1 API

  • sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver="auto", normalize=False)
    • 具有l2正则化的线性回归
    • alpha:正则化力度,也叫 λ
      • λ取值:0~1 1~10
    • solver:会根据数据自动选择优化方法
      • sag:如果数据集、特征都比较大,选择该随机梯度下降优化
    • normalize:数据是否进行标准化
      • normalize=False:可以在fit之前调用preprocessing.StandardScaler标准化数据
    • Ridge.coef_:回归权重
    • Ridge.intercept_:回归偏置

Ridge方法相当于SGDRegressor(penalty='l2', loss="squared_loss"),只不过SGDRegressor实现了一个普通的随机梯度下降学习,推荐使用Ridge(实现了SAG)

  • sklearn.linear_model.RidgeCV(_BaseRidgeCV, RegressorMixin)
    • 具有l2正则化的线性回归,可以进行交叉验证
    • coef_:回归系数
class _BaseRidgeCV(LinearModel):
    def __init__(self, alphas=(0.1, 1.0, 10.0),
                 fit_intercept=True, normalize=False,scoring=None,
                 cv=None, gcv_mode=None,
                 store_cv_values=False):

2 观察正则化程度的变化,对结果的影响?

 

  • 正则化力度越大,权重系数会越小
  • 正则化力度越小,权重系数会越大

3 波士顿房价预测

def linear_model3():
    """
    线性回归:岭回归
    :return:
    """
    # 1.获取数据
    data = load_boston()

    # 2.数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)

    # 3.特征工程-标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 4.机器学习-线性回归(岭回归)
    estimator = Ridge(alpha=1)
    # estimator = RidgeCV(alphas=(0.1, 1, 10))
    estimator.fit(x_train, y_train)

    # 5.模型评估
    # 5.1 获取系数等值
    y_predict = estimator.predict(x_test)
    print("预测值为:\\n", y_predict)
    print("模型中的系数为:\\n", estimator.coef_)
    print("模型中的偏置为:\\n", estimator.intercept_)

    # 5.2 评价
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print("误差为:\\n", error)

4 小结

  • sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver="auto", normalize=False)【知道】
    • 具有l2正则化的线性回归
    • alpha -- 正则化
      • 正则化力度越大,权重系数会越小
      • 正则化力度越小,权重系数会越大
    • normalize
      • 默认封装了,对数据进行标准化处理

以上是关于机器学习算法:线性回归的改进-岭回归-黑马程序员的主要内容,如果未能解决你的问题,请参考以下文章

机器学习sklearn(77):算法实例(三十四)回归线性回归大家族多重共线性:岭回归与Lasso岭回归

三天爆肝快速入门机器学习:线性回归逻辑回归岭回归第三天

机器学习sklearn(78):算法实例(三十五)回归线性回归大家族多重共线性:岭回归与LassoLasso

正规方程,梯度下降,岭回归——机器学习

正规方程,梯度下降,岭回归——机器学习

机器学习正则化线性模型和模型保存