最小二乘法

Posted luofeiju

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了最小二乘法相关的知识,希望对你有一定的参考价值。

一 常规最小二乘法拟合直线

    已知数据点为 技术图片,欲拟合直线 技术图片,则有最小化:技术图片

               技术图片

    使用矩阵表示,令 技术图片,则有:技术图片,

    X, Y已知,要使E最小化,则向量B求导等于零:技术图片,整理得:技术图片

 

二 使用垂直距离改写E

    常规最小二乘法有如下问题:

    1)数据点旋转后,求解得直线是变化的;

    2)垂直直线无法求解;

    通过修改 E 表达式,可以克服以上问题,如下图:

                  技术图片

    假设 技术图片,图中直线方程 技术图片 已经归一化,任意点 技术图片 到直线的距离为 技术图片,则有最小化:技术图片

    上式中,a,b,d 均为未知量,首先对求偏导,有:技术图片,整理得:技术图片

    将d代入E中得:技术图片

    使用矩阵表示,令 技术图片,有: 技术图片

    对X求导,可得:技术图片,求解二元一次方程组  技术图片 可计算处拟合直线。

 

三 RANSAC(Random Sample Consensus)

     技术图片

    如上图所示,少数离群点可使拟合出现较大偏差。因此,应该使用一些逻辑来降低离群点干扰,具体措施如下:

    1)随机选取一个子集,使用最小二乘法拟合直线;

    2)在规定得误差范围内计算合群点;

    3)多次选取不同的子集,继续1)2)操作;

    4)选择合群点最多模型作为拟合初步结果,使用该模型下所有合群点重新拟合直线,得到最终结果。

      技术图片 技术图片

    

    

     

    

以上是关于最小二乘法的主要内容,如果未能解决你的问题,请参考以下文章

什么是最小二乘法回归分析?

怎么用sklearn 解决最小二乘法

什么是加权最小二乘法,它的基本思想是什么

谁懂迭代加权最小二乘法,能否给讲下原理

偏最小二乘法的岭回归分析

什么是加权最小二乘法,它可以解决什么问题?