最小二乘法小结
Posted 刘建平Pinard
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了最小二乘法小结相关的知识，希望对你有一定的参考价值。
最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。
1.最小二乘法的原理与要解决的问题
最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式：
目标函数 = Σ（观测值-理论值）2
观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子，比如我们有m个只有一个特征的样本：
\((x^{(1)},y^{(1)}), (x^{(2)},y^{(2)},...(x^{(m)},y^{(m)})\)
样本采用下面的拟合函数：
\(h_\theta(x) = \theta_0 + \theta_1 x\)
这样我们的样本有一个特征x，对应的拟合函数有两个参数\(\theta_0 和 \theta_1\)需要求出。
我们的目标函数为：
\(J(\theta_0, \theta_1) = \sum\limits_{i=1}^{m}(y^{(i)} - h_\theta(x^{(i)})^2 = \sum\limits_{i=1}^{m}(y^{(i)} - \theta_0 - \theta_1 x^{(i)})^2 \)
用最小二乘法做什么呢，使\(J(\theta_0, \theta_1)\)最小，求出使\(J(\theta_0, \theta_1)\)最小时的\(\theta_0 和 \theta_1\)，这样拟合函数就得出了。
那么，最小二乘法怎么才能使\(J(\theta_0, \theta_1)\)最小呢？
2.最小二乘法的代数法解法
上面提到要使\(J(\theta_0, \theta_1)\)最小，方法就是对\(\theta_0 和 \theta_1\)分别来求偏导数，令偏导数为0，得到一个关于\(\theta_0 和 \theta_1\)的二元方程组。求解这个二元方程组，就可以得到\(\theta_0 和 \theta_1\)的值。下面我们具体看看过程。
\(J(\theta_0, \theta_1)对\theta_0\)求导，得到如下方程：
\(\sum\limits_{i=1}^{m}(y^{(i)} - \theta_0 - \theta_1 x^{(i)}) = 0 \) ①
\(J(\theta_0, \theta_1)对\theta_1\)求导，得到如下方程：
\(\sum\limits_{i=1}^{m}(y^{(i)} - \theta_0 - \theta_1 x^{(i)})x^{(i)} = 0 \) ②
①和②组成一个二元一次方程组，容易求出\(\theta_0 和 \theta_1\)的值：
\(\theta_0 = \sum\limits_{i=1}^{m}\big(x^{(i)})^2\sum\limits_{i=1}^{m}y^{(i)} - \sum\limits_{i=1}^{m}x^{(i)}\sum\limits_{i=1}^{m}x^{(i)}y^{(i)} \Bigg/ n\sum\limits_{i=1}^{m}\big(x^{(i)})^2 - \big(\sum\limits_{i=1}^{m}x^{(i)})^2\)
\(\theta_1 = n\sum\limits_{i=1}^{m}x^{(i)}y^{(i)} - \sum\limits_{i=1}^{m}x^{(i)}\sum\limits_{i=1}^{m}y^{(i)} \Bigg/ n\sum\limits_{i=1}^{m}\big(x^{(i)})^2 - \big(\sum\limits_{i=1}^{m}x^{(i)})^2\)
这个方法很容易推广到多个样本特征的线性拟合。
拟合函数表示为 \(h_\theta(x_1, x_2, ...x_n) = \theta_0 + \theta_{1}x_1 + ... + \theta_{n}x_{n}\), 其中\(\theta_i \) (i = 0,1,2... n)为模型参数，\(x_i \) (i = 0,1,2... n)为每个样本的n个特征值。这个表示可以简化，我们增加一个特征\(x_0 = 1 \) ，这样拟合函数表示为：
\(h_\theta(x_0, x_1, ...x_n) = \sum\limits_{i=0}^{n}\theta_{i}x_{i}\)。
损失函数表示为：
\(J(\theta_0, \theta_1..., \theta_n) = \sum\limits_{j=1}^{m}(h_\theta(x_0^{(j)}), x_1^{(j)}, ...x_n^{(j)})) - y^{(j)}))^2 = \sum\limits_{j=1}^{m}(\sum\limits_{i=0}^{n}\theta_{i}x_{i}^{(j)}- y{(j)})^2 \)
利用损失函数对\(\theta_i\)(i=0,1,...n)求导,并令导数为0可得：
\(\sum\limits_{j=0}^{m}(\sum\limits_{i=0}^{n}\theta_{i}x_{i}^{(j)} - y_j)x_i^{j}\) = 0 (i=0,1,...n)
这样我们得到一个N+1元一次方程组，这个方程组有N+1个方程，求解这个方程，就可以得到所有的N+1个未知的\(\theta\)
以上是关于最小二乘法小结的主要内容，如果未能解决你的问题，请参考以下文章