梯度下降法和粒子群优化算法的区别

Posted 2023-04-23

参考技术A 粒子群(PSO)算法是近几年来最为流行的进化算法，最早是由Kenned和Eberhart于1995年提出.PSO 算法和其他进化算法类似，也采用“群体”和“进化”的概念，通过个体间的协作与竞争，实现复杂空间中最优解的搜索．PSO 先生成初始种群，即在可行解空间中随机初始化一群粒子，每个粒子都为优化问题的一个可行解，并由目标函数为之确定一个适应值(fitness value)．PSO 不像其他进化算法那样对于个体使用进化算子，而是将每个个体看作是在n 维搜索空间中的一个没有体积和重量的粒子，每个粒子将在解空间中运动，并由一个速度决定其方向和距离.通常粒子将追随当前的最优粒子而运动，并经逐代搜索最后得到最优解．在每一代中，粒子将跟踪两个极值，一为粒子本身迄今找到的最优解 pbest ，另一为全种群迄今找到的最优解 gbest．由于认识到 PSO 在函数优化等领域所蕴含的广阔的应用前景，在 Kenned 和 Eberhart 之后很多学者都进行了这方面的研究.目前已提出了多种 PSO改进算法，并广泛应用到许多领域。 参考技术B 摘 要：，粒子群算法据自己的速度来决定搜索过程，只有最优的粒子把信息给予其他的粒子，整个搜索更新过程是跟随当前最优解的过程，所有的粒子还可以更快的收敛于最优解。由于微粒群算法简单，容易实现，与其它求解约束优化问题的方法相比较，具有一定的优势。实验结果表明，对于无约束的非线性求解，粒子群算法表现出较好的收敛性和健壮性。
关键词：粒子群算法；函数优化；极值寻优
0 引言
非线性方程的求根问题是多年来数学家努力解决的问题之一。长期以来，人们已找出多种用于解决方程求根的方法，例如牛顿法、弦割法、抛物线法等。然而，很多传统的方法仅能运用于相应的小的问题集，推广性相对较差。对于一个现实世界中的优化问题，必须尝试很多不同的方法，甚至要发明相应的新的方法来解决，这显然是不现实的。我们需要另外的方法来克服这样的困难。
粒子群算法是一种现代启发式算法，具有推广性强、鲁棒性高等特点[1]。该算法具有群体智能、内在并行性、迭代格式简单、可快速收敛到最优解所在区域等优点[2]。本文采用粒子群算法，对函数的极值进行寻优计算，实现了对函数的极值求解。
1 粒子群算法
1.1 基本原理
粒子群算法（PSO）是一种基于群体的随机优化技术，它的思想来源于对鸟群捕食行为的研究与模拟。粒子群算法与其它基于群体的进化算法相类似，选用“群体”和“进化”的概念，按照个体的适应度值进行操作，也是一种基于迭代的寻优技术。区别在于，粒子群算法中没有交叉变异等进化算子，而是将每个个体看作搜索空间中的微粒，每个微粒没有重量和体积，但都有自己的位置向量、速度向量和适应度值。所有微粒以一定的速度飞行于搜索空间中，其中的飞行速度是由个体飞行经验和群体的飞行经验动态调整，通过追踪当前搜索到的最优值来寻找全局最优值。
1.2 参数选择
粒子群算法需要修改的参数很少，但对参数的选择却十分敏感。El-Gallad A, El-Hawary M, Sallam A, Kalas A[3]主要对算法中的种群规模、迭代次数和粒子速度的选择方法进行了详细分析，利用统计方法对约束优化问题的求解论证了这 3 个参数对算法性能的影响，并给出了具有一定通用性的3 个参数选择原则[4]。
种群规模：通常根据待优化问题的复杂程度确定。
最大速度：决定粒子在一次迭代中的最大移动距离,通常设定为不超过粒子的范围宽度。
加速常数：加速常数c1和c2通常是由经验值决定的，它代表粒子向pbest和gbest靠拢的加速项的权重。一般取值为：c1=c2=2。
中止条件：达到最大迭代次数或得到最小误差要求，通常要由具体问题确定。
惯性权重：惯性权重能够针对待优化问题调整算法的局部和全局搜索能力。当该值较大时有利于全局搜索，较小时有利于局部搜索。所以通常在算法开始时设置较大的惯性权重，以便扩大搜索范围、加快收敛。而随着迭代次数的增加逐渐减小惯性权重的值，使其进行精确搜索，避免跳过最优解。
1.3 算法步骤
PSO算法步骤如下：
Step1：初始化一个规模为 m 的粒子群，设定初始位置和速度。
初始化过程如下：
（1）设定群体规模m;
（2）对任意的i，s，在[-xmax, xmax]内均匀分布，产生初始位置xis；
（3）对任意的i，s，在[-vmax, vmax]内均匀分布，产生速度vis；
（4）对任意的i，设yi=xi，保存个体。
Step2：计算每个粒子的适应度值。
Step3：对每个粒子的适应度值和得到过的最好位置pis的适应度值进行比较，若相对较好，则将其作为当前的最好位置。
Step4：对每个粒子的适应度值和全局得到过的最好位置pgs的适应度值进行比较，若相对较好，则将其作为当前的全局最好位置。
Step5：分别对粒子的所在位置和速度进行更新。
Step6：如果满足终止条件，则输出最优解；否则，返回Step2。
1.4 粒子群算法函数极值求解
粒子群算法优化是计算机智能领域，除蚁群算法外的另一种基于群体智能的优化算法。粒子群算法是一种群体智能的烟花计算技术。与遗传算法相比，粒子群算法没有遗传算法的选择（Selection）、交叉（Crossover）、变异（Mutation）等操作，而是通过粒子在解空间追随最优的粒子进行搜索。
粒子群算法流程如图所示：

粒子群为由n个粒子组成的种群X = (X1,X2,X3,…Xn).
第i个粒子表示一个D维向量Xi = (X1,X2,X3,…XD)T.
第i个粒子的速度为Vi = (Vi1,Vi2,Vi3,…ViD)T.
个体极值为Pi = (Pi1,Pi2,Pi3,…PiD)T.
全局极值为Pg = (Pg1,Pg2,Pg3,…PgD)T.
速度更新为，式中，c1和c2为其两个学习因子的参数值；r1和r2为其两个随机值。
位置更新为.
2 粒子群算法应用举例
2.1 实验问题
这是一个无约束函数的极值寻优，对于Ackley函数，
.
其中c1=20，e=2. 71289。
2.2 实验步骤
对于Ackley函数图形，选取一个凹峰进行分析，程序运行结果如图所示。

图1 Ackley函数图形
可以看出，选取区间内的Ackley函数图形只有一个极小值点。因此，对于该段函数进行寻优，不会陷入局部最小。采用粒子群算法对该函数进行极值寻优。
首先，进行初始化粒子群，编写的MATLAB代码如下：
% 初始化种群
for i=1:sizepop
x1 = popmin1 (popmax1-popmin1)*rand;
% 产生随机个体
x2 = popmin2 (popmax2-popmin2)*rand;
pop(i,1) = x1; % 保存产生的随机个体
pop(i,2) = x2;
fitness(i) = fun([x1,x2]); % 适应度值
V(i,1) = 0; % 初始化粒子速度
V(i,2) = 0;
end
程序运行后所产生的个体值为：
表1 函数个体值

然后，根据待寻优的目标函数，计算适应度值。待寻优的目标函数为：
function y = fun(x)
y=-20*exp(-0.2*sqrt((x(1)^2x(2)^2)/2))-exp((cos(2*pi*x(1)) cos(2*pi*x(2)))/2) 20 2.71289;
根据每一组个体，通过目标函数，得到的适应度值为：

表2 函数适应度值

搜索个体最优极值，即搜索最小的适应度值，我们可利用MATLAB绘图将所有个体的适应度值绘成plot图查看相对最小值。

图3 函数适应度plot图
从图中可看出，当个体=20时，得到相对最小值，在程序中，将其保存下来。
之后进行迭代寻优，直到满足终止条件。
最后，得到的最优值为：

图4 MATLAB运行得到结果
迭代后得到的运行结果图如下：

图5 迭代曲线图
2.3 实验结果
通过图5中可看出，该函数的寻优是收敛的，最优个体和实际情况较吻合。因此，采用粒子群算法进行函数极值寻优，快速、准确且鲁棒性较好。
3 结论
本文阐述了粒子群算法求解最化问题的过程，实验结果表明了该算法对于无约束问题的可行性。与其它的进化算法相比，粒子群算法容易理解、编码简单、容易实现。但是参数的设置对于该算法的性能却有很大的影响，例如控制收敛，避免早熟等。在未来的工作中，将努力于将其它计算智能算法或其它优化技术应用于粒子群算法中，以进一步提高粒子群算法的性能。

广义最小残差法和共轭梯度法的区别

答：共轭梯度法是以函数的梯度构造共轭方向的一种算法，具有共轭方向的性质。共轭梯度法具有超线性收敛速度。梯度法与共轭梯度法的区别是：
1)最速下降法(梯度法) ：搜索方向为目标函数负梯度方向，计算效率优于坐标轮换法。开始几步搜索下降快，但愈接近极值点下降愈慢。对初始点的选择要求不高，适合与其它方法结合使用。
2)共轭梯度法：第一步搜索沿负梯度方向，然后沿负梯度的共轭方向搜索。计算效率介于梯度法和牛顿法之间。对初始点没有特殊的要求，不需要计算二阶偏导数矩阵及其逆矩阵，计算量与梯度法相当。适用于各种规模的问题 参考技术A 【数值算法】系数矩阵非对称时，线性方程组如何求解？-稳定双共轭梯度法(Bicgstab)求解线性方程组

寒江雪
来自专栏有限元术
在前面的文章和中表明共轭梯度法是求解对称正定线性方程组的一种有效方法，当针对不同的系数矩阵采用不同的预处理方式时，其可以以较少的迭代次数获得较高精度的解。然而，该方法的一个缺点就是其只能适用于对称正定系数矩阵，当系数矩阵不再是对称正定时，此方法可能失效。以下举例：

上面矩阵A为非对称矩阵，采用共轭梯度法求解过程如下：

该方程组采用共轭梯度法迭代4862次依然未收敛。因此，对于该非对称方程，可以认为，共轭梯度法几乎是失效的。在实际工程中，有限元方法形成的刚度系数以对称正定居多，但是实际上也存在非对称的可能，例如，当材料本构采用摩尔-库伦本构时，其形成的刚度矩阵就有可能会是非对称的，此时如果是使用商业软件，应当在软件中选择非对称求解器。如果是自主编程且采用迭代法求解线性方程组，则需要找到一种适用于非对称矩阵的求解方法。

常见的非对称系数矩阵求解方法主要有：广义最小残差法(GMRES)，双共轭梯度法（Bicg）稳定双共轭梯度法(BiCGStab)，稳定混合双共轭梯度法（BiCGStab(l)），这些方法相对于常规的共轭梯度法在推导上均增加了一些难度，实际推导往往较为复杂。本文不展开推导，仅对稳定双共轭梯度法(BiCGStab)的伪代码作简要粘贴。BiCGStab法的具体计算过程如下：

具体代码：

program bicgstab_main implicit none integer,parameter::n=8 real(8)::a(n,n),b(n) real(8)::x(n),x0(n) integer::i,j integer,parameter::m=20 real(8)::c(m,m),d(m) real(8)::y(m),y0(m) a=reshape((/6,5,1,2,0,0,2,1, & 0,5,1,1,0,0,3,0,& 1,1,623,1,2,0,1001,2, & 2,1,1,7,1,2,1,1,& 0,0,2,31,6,0,2,1,& 0,0,0,2,0,4,1,0,& 2,3,1,1,23,1,5,213,& 123,0,12,1,1,0,1,3/),(/n,n/)) b=(/1,1,1,1,1,1,1,1/) write(*,*)"矩阵A" write(*,"(8f10.4)")(a(i,:),i=1,n) write(*,*)"向量b" write(*,"(f10.4)")b x0=100.0 x=0.0 call bicgstab(a,b,x,x0,n) end program bicgstab_main subroutine bicgstab(a,b,x,x0,n) implicit none integer,intent(in)::n real(kind=8),intent(in)::a(n,n),b(n),x0(n) real(kind=8),intent(out)::x(n) real(kind=8)::p0(n),r0(n) real(kind=8)::tol=1.0d-6 integer::nmax=1000 real(kind=8)::rj(n),pj(n) real(kind=8)::alphaj real(kind=8)::r0_bar(n) real(kind=8)::sj(n) real(kind=8)::xjp1(n),xj(n) real(kind=8)::wj real(kind=8)::rjp1(n) real(kind=8)::betaj integer::n_iter real(kind=8)::apj(n),asj(n) r0=b-matmul(a,x0) r0_bar=r0 if(abs(dot_product(r0,r0_bar))<tol) then write(*,*)"unvalid r0_bar,select an other!" return endif p0=r0 rj=r0 pj=p0 xj=x0 n_iter=0 do if(n_iter>nmax) then write(*,*)"exceed max iter!" exit endif alphaj=dot_product(rj,r0_bar)/dot_product(matmul(a,pj),r0_bar) apj=matmul(a,pj) sj=rj-alphaj*apj if(norm2(sj)<tol) then xjp1=xj+alphaj*pj x=xjp1 exit endif asj=matmul(a,sj) wj=dot_product(asj,sj)/(norm2(asj))**2 xjp1=xj+alphaj*pj+wj*sj rjp1=sj-wj*asj if(norm2(rjp1)<tol) then x=xjp1 exit endif betaj=alphaj*dot_product(rjp1,r0_bar)/(wj*dot_product(rj,r0_bar)) pj=rjp1+betaj*(pj-wj*apj) xj=xjp1 rj=rjp1 n_iter=n_iter+1 write(*,*)"the",n_iter,"iter!" enddo write(*,*)"the solution of equation:" write(*,"(es18.8)")x end subroutine bicgstab
依据上述过程编写程序，计算前述非对称矩阵线性方程组求解结果：

采用matlab求解该方程组的解：

通过对比可知11次迭代已经获得即为准确的结果。实际上，对于该方法也可以通过一定的预处理方式，使得其所需要的迭代次数更少。以上，就是稳定双共轭梯度法求解线性方程组的内容，感谢您的阅读！欢迎关注公众号 有限元术