机器学习 多项式回归与模型泛化(下)

Posted zhangtaotqy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习 多项式回归与模型泛化(下)相关的知识,希望对你有一定的参考价值。

六、验证数据集与交叉验证

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

七、偏差方差平衡

偏差方差权衡 Bias Variance Trade off

偏差 Bias

导致偏差的主要原因:

对问题本身的假设不正确!

如:非线性数据使用线性回归

欠拟合 underfitting

方差 Variance

数据的一点点扰动都会较大的影响模型

通常原因,使用的模型太复杂

如高阶多项式回归。

过拟合 overfitting

偏差和方差

有一些算法天生高方差,KNN

非参数学习通常都是高方差算法。因为不对数据进行任何假设。

有一些算法天生是高偏差算法。如线性回归。

参数学习通常都是高偏差算法。因为对数据具有极强的假设。

 

大多数算法具有相应的参数, 可以调整偏差和方差。

如 KNN中的 K

如线性回归中使用多项式回归

 

偏差和方差通常是矛盾的。

降低偏差,会提高方差。

降低方差,会提高偏差。

技术分享图片

技术分享图片

八、模型泛化与岭回归

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

 

 技术分享图片

技术分享图片

九、LASSO  Regularization

技术分享图片

 

 技术分享图片

技术分享图片

 

 技术分享图片

 

 技术分享图片

技术分享图片

技术分享图片

技术分享图片

 

 技术分享图片

十、L1, L2和弹性网络

技术分享图片

技术分享图片

技术分享图片

 

 技术分享图片

技术分享图片

 

 技术分享图片

我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。

 我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。

 我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。

 

以上是关于机器学习 多项式回归与模型泛化(下)的主要内容,如果未能解决你的问题,请参考以下文章

机器学习之路:python 多项式特征生成PolynomialFeatures 欠拟合与过拟合

机器学习系列6 使用Scikit-learn构建回归模型:简单线性回归多项式回归与多元线性回归

机器学习:模型泛化(L1L2 和弹性网络)

python机器学习基础教程-监督学习

ML_6机器学习重要概念补充

❤️解决非线性回归问题的机器学习方法总结:多项式线性模型广义线性(GAM)模型回归树模型支持向量回归(SVR)模型