共轭梯度法(Conjugate gradient)详解
Posted bitcarmanlee
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了共轭梯度法(Conjugate gradient)详解相关的知识，希望对你有一定的参考价值。
1.什么是共轭向量
对于正定矩阵Q，如果有
x
T
Q
y
=
0
x^TQy = 0
xTQy=0
那么我们可以称x, y是关于Q-conjugate。
2.线性方程组求解与二次函数求极小值转化
最初，共轭梯度法是用来求解线性方程 A x = b Ax = b Ax=b的一种方法，特别是稀疏线性方程组迭代求解法里面最优秀的方法，其被称为线性共轭梯度法。后来，人们把这种方法慢慢推广到了非线性问题求解中，称为非线性共轭梯度法。
求解 A x = b Ax = b Ax=b时，最简单粗暴的方式为 x = A − 1 b x = A^-1b x=A−1b。但是这种方法的问题很明显：求逆矩阵的计算复杂度非常高。即使我们考虑用矩阵分解的方式，仍然会很慢。因此，我们尽可能考虑用迭代的方式，而不是直接求逆的方式来解这个问题。
如果构造一个二次函数：
f
(
x
)
=
1
2
x
T
A
x
−
b
T
x
f(x) = \\frac12x^TAx - b^Tx
f(x)=21xTAx−bTx
对其求最小值，即令导数为零：
∇
f
(
x
)
=
A
x
−
b
T
=
0
\\nabla f(x) = Ax - b^T = 0
∇f(x)=Ax−bT=0
此时，正好是线性方程组 A x − b = 0 Ax - b = 0 Ax−b=0的解。因此，我们可以将线性方程组求解问题转化为二次函数求极小值问题。
3.求解过程
根据第二部分推导，将求线性方程组解的问题转化为求二次函数极小值
f
(
x
)
=
1
2
x
T
Q
x
−
b
T
x
f(x) = \\frac12x^TQx - b^Tx
f(x)=21xTQx−bTx
结合第一部分，我们找到n个相互Q-conjugate的向量
d
1
,
d
2
,
d
3
,
⋯
,
d
n
d_1, d_2, d_3, \\cdots, d_n
d1,d2,d3,⋯,dn，他们相互共轭且线性无关，则空间任意向量x可以用该组基向量表示：
x
=
∑
i
=
1
n
a
i
d
i
x = \\sum_i=1 ^n a_i d_i
x=i=1∑naidi
上面的目标函数f(x)可以表示为如下
注意因为d是一组共轭向量，所以当
i
≠
j
i \\neq j
i=j时，有
d
i
T
Q
d
j
=
0
d_i^TQd_j=0
diTQdj=0
上面的公式可以变为
m
i
n
a
1
,
⋯
,
a
n
∈
R
n
1
2
∑
i
=
1
n
a
i
2
d
i
T
Q
d
i
−
∑
i
=
1
n
a
i
b
T
d
i
\\underset a1,\\cdots,a_n \\in R^nmin \\frac12 \\sum_i=1^n a_i ^ 2 d_i ^TQd_i - \\sum_i=1^na_ib^Td_i
a1,⋯,an∈Rnmin21i=1∑nai2diTQdi−i=1∑naibTdi
进一步化简，
m
i
n
a
1
,
⋯
,
a
n
∈
R
n
1
2
∑
i
=
1
n
(
a
i
2
d
i
T
Q
d
i
−
a
i
b
T
d
i
)
\\underset a1,\\cdots,a_n \\in R^nmin \\frac12 \\sum_i=1^n (a_i ^ 2 d_i ^TQd_i - a_ib^Td_i)
a1,⋯,an∈Rnmin21i=1∑n(ai2diTQdi−aibTdi)
现在变量 a 1 , a 2 , ⋯ , a n a_1, a_2, \\cdots, a_n a1,a2,⋯,an已经被分开了，将上面的式子再改写一下
m
i
n
a
1
,
⋯
,
a
n
∈
R
n
1
2
(
a
1
2
d
1
T
Q
d
1
−
a
1
b
T
d
1
)
+
1
2
(
a
2
2
d
2
T
Q
d
2
−
a
2
b
T
d
2
)
+
⋯
+
1
2
(
a
n
2
d
n
T
Q
d
n
−
a
n
b
T
d
n
)
\\underset a1,\\cdots,a_n \\in R^nmin \\frac12 (a_1 ^ 2 d_1 ^TQd_1 - a_1b^Td_1) + \\frac12 (a_2 ^ 2 d_2 ^TQd_2 - a_2b^Td_2) + \\cdots + \\frac12 (a_n ^ 2 d_n ^TQd_n - a_nb^Td_n)
a1,⋯,an∈Rnmin21(a12d1TQd1−a1bTd1)+21(a22d2TQd2 以上是关于共轭梯度法(Conjugate gradient)详解的主要内容，如果未能解决你的问题，请参考以下文章