first order method in optimization

Posted 2020-11-02 optimization-dkk

这篇文章想阐述一阶优化算法，尽可能的做到全面。

• 考虑无约束优化问题

                                                              

Gradient Descent Method 有如下迭代形式：

                                                            

这里的  为步长，不同的步长构造策略生成了不同的梯度算法，例如，

                                                   

则为最速下降法，如果

                                                  

这里的 , 这时候为BB算法。

• 还是考虑无约束凸优化问题

                                                           

Proximal Point Algorithm 有如下形式：

                                                    

                                                            

                                                    

• 考虑可分离凸问题：

                                      

这里假设, 在第k步迭代，Proximal Gradient Algorithm 将  作二次展开

有如下形式：

                                    

PGA等价于Forward Backward Operator。

4.考虑线性约束凸问题：