吉洪诺夫正则化(Tikhonov regularization )

Posted 2022-06-01 木顶思上

最近看了看吉洪诺夫正则化方法，对其基本内容作了一个简单的了解。现在总结如下。
1、正则化
定义：正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。
另外给出一个解释性定义：对于线性方程Ax=b，当解x不存在或者解不唯一时，就是所谓的病态问题(ill-posed problem). 但是在很多时候，我们需要对病态问题求解，那怎么做？
对于解不存在的情况，解决办法是增加一些条件找一个近似解；对于解不唯一的情况，解决办法是增加一些限制缩小解的范围。这种通过增加条件或限制要求求解病态问题的方法就是正则化方法。
正则化的英文是regularization，即规则化，调整。通过一些调整或者其他办法，使病态问题也能得到唯一解。在这个调整的过程中，使用的技术就是正则化技术，所用的方法就是正则化方法。
2、
求解线性方程的标准方法是最小二乘法，即求解min，对于病态的线性方程，吉洪诺夫提出使用的方法，叫做吉洪诺夫矩阵（Tikhonov matrix）.更详细的介绍见Tikhonov regularization。