机器学习 多项式回归与模型泛化(下)
Posted zhangtaotqy
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习 多项式回归与模型泛化(下)相关的知识,希望对你有一定的参考价值。
六、验证数据集与交叉验证
七、偏差方差平衡
偏差方差权衡 Bias Variance Trade off
偏差 Bias
导致偏差的主要原因:
对问题本身的假设不正确!
如:非线性数据使用线性回归
欠拟合 underfitting
方差 Variance
数据的一点点扰动都会较大的影响模型
通常原因,使用的模型太复杂
如高阶多项式回归。
过拟合 overfitting
偏差和方差
有一些算法天生高方差,KNN
非参数学习通常都是高方差算法。因为不对数据进行任何假设。
有一些算法天生是高偏差算法。如线性回归。
参数学习通常都是高偏差算法。因为对数据具有极强的假设。
大多数算法具有相应的参数, 可以调整偏差和方差。
如 KNN中的 K
如线性回归中使用多项式回归
偏差和方差通常是矛盾的。
降低偏差,会提高方差。
降低方差,会提高偏差。
八、模型泛化与岭回归
九、LASSO Regularization
十、L1, L2和弹性网络
我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。
我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。
我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。
以上是关于机器学习 多项式回归与模型泛化(下)的主要内容,如果未能解决你的问题,请参考以下文章
机器学习之路:python 多项式特征生成PolynomialFeatures 欠拟合与过拟合