强化学习—— Actor-Critic

Posted 2022-04-01 CyrusMay

强化学习（四）—— Actor-Critic

• 1. 网络结构
• 2. 网络函数
• 3. 策略网络的更新-策略梯度
• 4. 价值网络的更新-时序差分（TD）
• 5. 网络训练流程
• 6. 案例

1. 网络结构

• 状态价值函数：
  $$V_{\pi }(s_t)=\sum _a{Q}_{\pi }(s_t,a)\cdot \pi (a|s_t)$$

• 通过策略网络近似策略函数:
  $$\pi (a|s)\approx \pi (a|s;\theta )$$
  

• 通过价值网络近似动作价值函数:
  $$q(s,a;W)\approx Q(s,a)$$
  

• 神经网络近似后的状态价值函数:
  $$V(s;\theta ,W)=\sum _{a}q(s,a;W)\ast \pi (a|s;\theta )$$

• 通过对策略网络不断更新以增加状态价值函数值。

• 通过对价值网络不断更新来更好的预测所获得的回报。

2. 网络函数

Policy Network

• 通过策略网络近似策略函数
  $$\pi (a|s_t)\approx \pi (a|s_t;\theta )$$
• 状态价值函数及其近似
  $$V_{\pi }(s_t)=\sum _a\pi (a|s_t)Q_{\pi }(s_t,a)$$
  $$V(s_t;\theta )=\sum _a\pi (a|s_t;\theta )\cdot Q_{\pi }(s_t,a)$$
• 策略学习最大化的目标函数
  $$J(\theta )=E_S[V(S;\theta )]$$
• 依据策略梯度上升进行
  $$\theta \leftarrow \theta +\beta \cdot \frac{\partial V(s;\theta )}{\partial \theta }$$

3. 策略网络的更新-策略梯度

Policy Network

• 策略梯度为：
  $$\begin{gathered} g(a,\theta )=\frac{\partial ln\pi (a|s;\theta )}{\partial \theta }\cdot q(s,a;W) \\ \frac{\partial V(s;\theta ,W)}{\partial \theta }=E[g(A,\theta )] \end{gathered}$$
• 可采用随机策略梯度，（无偏估计）
  $$\begin{gathered} a\sim \pi (\cdot |s_t;\theta ) \\ {\theta }_{t+1}={\theta }_t+\beta \cdot g(a,{\theta }_t) \end{gathered}$$

4. 价值网络的更新-时序差分（TD）

• TD的目标：
  $$y_t=r_t+\gamma q(s_{t+1},a_{t+1};W_t)$$
• 损失函数为：
  $$loss=\frac{1}{2}[q(s_t,a_t;W_t)-y_t{]}^2$$
• 采用梯度下降进行更新：
  W t + 1 = W t − α ⋅ ∂ l o s s ∂ W ∣ W = W t W_t+1=W_t-\\alpha\\cdot\\frac\\partial loss\\partial W|_W=W_t Wt+1​=Wt​−α⋅∂W∂lo以上是关于强化学习—— Actor-Critic的主要内容，如果未能解决你的问题，请参考以下文章

  论文阅读|图神经网络+Actor-Critic求解静态JSP（End-to-End DRL）《基于深度强化学习的调度规则学习》(附带源码)

  强化学习--Actor-Critic

  深度强化学习 Actor-Critic 模型解析，附Pytorch完整代码

  Actor-critic强化学习方法应用于CartPole-v1

  MATLAB教程案例67基于Actor-Critic结构强化学习的车杆平衡控制系统matlab仿真

  强化学习(十五) A3C