十，专著研读（线性回归）

Posted 2022-06-03 zaw-315

十，专著研读（线性回归）

• 分类问题输出离散型变量，回归输出连续型变量。
• 线性回归
  
  • 简单线性回归
    一元线性回归及其一元线性方程
    
    
    \(y=b+\omega x\)
    
    写成矩阵形式
    
    
    \(y=X^T\omega\)
    
    
  • 多元线性回归
    多元线性方程
    
    
    $ y=\omega 0+\omega 1x_1+\omega 2x2+...+\omega nxn$
    
    矩阵形式
    
    
    $ y=X^T\omega$
    
    
  • 线性回归的损失函数
    平方误差作为线性回归的损失函数
    
    
    \(SSE=\sum_i=1^m(y_i- \haty_i)^2=\sum_i=1^m(y_i- x_i^T\omega )^2\)
    
    用平方对于后续求导比较方便，用矩阵可以表示为
    
    
    \((y-X\omega )^T(y-X\omega )\)
    
    求导之后
    
    
    \(\hat\omega =(X^TX)^-1X^Ty\)
    
    
  • 局部加权线性回归(LWLR)
    给待预测点附近的每个点赋予一定的权重，然后按照简单线性回归求解方法求解。
    解出回归系数w形式
    
    
    \(\hat\omega =(X^TWX)^-1X^TWy\)