最小二乘法之数学理解

Posted 2020-08-20

设输入集为$x_i$，其中$i$取$1\ldots n$,对每一个输入$x_i$，都有一个真实的输出$y_i$，现在的目的就是要构建一个模型，使得该模型对于输入的$x_i$都能输出一个预测值${\hat y}_i$，并尽可能准确。

 

最简单的，可将模型构建为线性模型：

$$f_{\theta}(x)=\theta_1 \phi_1(x) + \theta_2 \phi_2(x) + \ldots + \theta_b \phi_b(x) = \sum_{j=1}^b \theta_j \phi_j(x)$$

 

写成矩阵形式为：

$$f_{\theta}(x)=\theta^T \phi(x)$$

 

其中:

$$\theta = \begin{bmatrix}
\theta_1 \\
\theta_2 \\
\vdots \\
\theta_b
\end{bmatrix}$$

$$\phi(x) = \begin{bmatrix}
\phi_1(x) \\
\phi_2(x) \\
\vdots \\
\phi_b(x)
\end{bmatrix}$$

 

此时，最小二乘法即是要对模型的输出$f_{\theta}(x_i)$和真实的输出$y_i$的平方误差：

$$J_{JS}(\theta)=\sum(f_\theta(x_i)-y_i)^2$$

为最小时的参数$\theta$进行学习.