POMO: Policy Optimization with Multiple Optima for Reinforcement Learning学习笔记

Posted 2023-02-14 好奇小圈

文章目录

• 摘要
• 零、一些基础
• • 1.梯度近似
  • 2.策略梯度定理
  • 3.REINFORCE
  • 4.REINFORCE with Baseline
  • 5.REINFORCE Actor-Critic
  • 6.多解旅行商问题
  • • （0）来源
    • （1）摘要
    • （2）MSTSP基准
    • （3）TSPLIB-ms
    • （4）MSTSP上的Demo
• 一、介绍
• 二、相关工作
• • • （1）深度强化学习构建法
    • （2）推理技术
    • （3）深度强化学习改善法
• 三、激励
• 四、多最优解的策略优化POMO
• • 1.多启动节点探索
  • 2.策略梯度的共享基准
  • 3.推理的多贪婪轨迹
  • • （1）增加实例
• 五、实验
• • 0.基础
  • • （1）注意力模型
    • （2）问题设置
    • （3）训练
    • （4）推理
    • （5）代码
  • 1.旅行商问题
  • 2.有能力的车辆路径规划问题
  • 3.0-1背包问题
• 六、结论
• 七、附录
• • A 实例增加
  • • A.1 应用想法
    • • 坐标转换
      • 输入顺序
    • A.2 无POMO训练的消融研究
  • B 旅行商问题
  • • B.1 问题设置
    • B.2 策略网络
    • • 编码器
      • 译码器
    • B.3 超参数
  • C 有能力的车辆路径规划问题
  • • C.1 问题设置
    • C.2 策略网络
  • D 0-1背包问题
  • • D.1 问题设置
    • D.2 策略网络
  • E 我们对原始AM的实现
• 八、主要参考文献
• 九、代码解析
• 相关领域

---

摘要

在神经组合优化问题（CO）中，强化学习（RL）可以将一个深度学习网络转为一个快速、有力的启发式NP-hard问题的解决器。这种方法在实际中有巨大的潜力，因为它能在没有大量专业知识专家指导的情况下发现近似最优解。我们引入了带有多最优解的策略优化（Policy Optimization with Multiple Optima (POMO)），一种用来建立上述启发式解决器的端到端方法。POMO可应用于很大范围的组合优化问题。它被设计利用组合优化解决方案的对称性。POMO使用强迫多样化的预演（rollout）朝向所有最优解决方案的改良REINFORCE算法。以经验为主地，POMO的低方差baseline使得RL训练更快和稳定，同时与以前的方法相比，它更能抵抗局部极小值。我们也引入了一个新的基于增强的推理方法（augmentation-based inference method），能够很好地配合POMO方法。我们通过解决三个热门的NP-hard问题，既旅行商（TSP）、有能力的车辆路径规划（CVRP）和0-1背包问题，展示了POMO方法的效率。对于这些问题，我们基于POMO的解决器相比最近学习的启发式方法展示了巨大的提升。特别地，我们实现了0.14%的最优gap在TSP100的数据及上，同时推理时间减少了一个数量级。

---

零、一些基础

1.梯度近似

强化学习从high level角度总共分为两大部分，分别是value-based method和policy-based method。

我们的目标都是求取策略${\pi }^{\ast }$，value-based采用了迂回的方法，计算出价值函数Q（利用贪婪、采样等策略），然后给出确定性策略，虽然可以采用$\epsilon$软性策略给一定的随机性，但本质仍是确定性策略。

如果想要随机策略或者动作空间为连续的情况下，则需要采用policy-based method。

给定状态$s$，动作$a$的参数化的概率分布如下：
$$\pi (a|s;\theta )$$
可连续，可离散，接下来构建一个目标函数，其中$s_0$代指“任意状态”：
$$J(\theta )\triangleq V_{\pi }(s_0)$$
定义平均次数$\eta (s)$，h为初始平均次数，后续步骤需要考虑状态、动作和上一步：
$$\begin{gathered} \eta (s)=h(s_{initial})+\sum _{\overline{s}}\eta (\overline{s})\sum _a\pi (a|\overline{s})p(s|\overline{s},a) \\ =\sum _{k=0}^{T-1}Pr(s_0\to s,k,\pi ) \end{gathered}$$
定义出现概率$\mu (s)$：
$$\mu (s)=\frac{\mu (s)}{{\sum }_{s^{\prime }}\eta (s^{\prime })}$$

2.策略梯度定理

$$\begin{array}{rl}▽V_{\pi }(s)& =▽\sum _a\pi (a|s)\cdot q_{\pi }(s,a)\\ & =\sum _a[▽\pi (a|s)\cdot q_{\pi }(s,a)]+\pi (a|s)\cdot ▽q_{\pi }(s,a)]\end{array}$$
其中，
$$▽q_{\pi }(s,a)=▽\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\cdot (r+\gamma V_{\pi }(s^{\prime }))$$
为推导便利，这里假设折扣率$\gamma$为1，上式和$\theta$有关的只有$V_{\pi }(s^{\prime })$
$$▽q_{\pi }(s,a)=\sum _{s^{\prime }}p(s^{\prime }|s,a)\cdot ▽V_{\pi }(s^{\prime })$$所以，$$▽V_{\pi }(s)=\sum _a▽\pi (a|s)\cdot q_{\pi }(s,a)+\pi (a|s)\cdot \sum _{s^{\prime }}p(s^{\prime }|s,a)\cdot ▽V_{\pi }(s^{\prime })]$$
如此