线性回归 及 正则化 公式推导
Posted jhc888007
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了线性回归 及 正则化 公式推导相关的知识，希望对你有一定的参考价值。
- 基础公式：
?BA/?A = BT
?ATB/?A = B
?ATBA/?A = 2BA
- 模型函数：
hθ(x) = xθ
- 无正则化损失函数：
J(θ) = 1/2(Xθ-Y)2
令偏导?J(θ)/?θ等于0，得：
θ = (XTX)-1XTY
- 正则化损失函数：
J(θ) = 1/2(Xθ-Y)2+1/2λθ2
令偏导?J(θ)/?θ等于0，得：
θ = (XTX+λI)-1XTY
参考文献：
https://blog.csdn.net/fleurdalis/article/details/54931721
https://blog.csdn.net/u013363719/article/details/22752893
以上是关于线性回归 及 正则化 公式推导的主要内容，如果未能解决你的问题，请参考以下文章
机器学习线性回归——岭回归解决过拟合问题（理论+图解+公式推导）
机器学习线性回归——岭回归从贝叶斯角度理解（理论+图解+公式推导）