Actor-Critic Method

Posted 2022-09-10 Harris-H

Actor-Critic Method

它是Value-Based 和 Policy-Based Methods 两种算法的结合。

---

1.目标函数

$F=V_{\pi }(s)$ ：状态价值函数State-Value Function，表示了当前状态$S$所能得到的回报return的期望。

$F_1=\pi (a|s)$ 策略函数，即在状态$s$下执行动作$a$的概率分布。

$F_2=Q_{\pi }(s,a)$ 价值函数，即在状态$s$下执行动作$a$得到的奖励 (reward) 之和。

该算法的目标函数是状态价值函数State-Value Function。

若状态 $a$ 符合离散随机变量的分布，则可用所有的状态$a$ 的概率与价值乘积之和来表示。

因为$F_1,F_2$都未知，因此我们考虑用两个网络近似表示$F_1,F_2$，这两个网络分别是actor,critic ，即策略网络和价值网络。

策略网络使用$\pi (a|s;\theta )$ 近似$F_1$，$\theta$为策略网络的训练参数。

价值网络使用$q(s,a;w)$近似$F_2$，$w$为价值网络的训练参数。

---

2.网络结构

2.1 策略网络(Policy Network)

输入为状态$s$，通过卷积层得到特征向量，然后通过全连接层得到指定维度的向量(与状态个数相关)，然后通过 Softmax 激活函数得到动作的概率分布。

---

2.2 价值网络(Value Network)

输入为状态$s$和动作$a$，状态$s$经过卷积层得到对应的特征向量，动作$a$(若为离散则用ont-hot编码表示)经过全连接层得到对应的特征向量。然后两者进行拼接再经过全连接层得到标量函数价值$q(s,a;w)$。

---

2.3 拟人化

actor比作运动员，critic比作裁判。运动员做一系列的动作，裁判负责打分，运动员根据裁判打分不断精进自己的动作，同时裁判根据规则不断使自己的打分更加精准。

---

3.训练网络

更新策略网络的$\theta$ 增加状态价值函数$V(s;\theta ,w)$ ，使得运动员表现越来越好。

其监督的标签完全来自价值网络，也就是裁判的打分。

更新价值网络的$w$ 用来更准确估计奖励之和return。

使得裁判的打分更加精确，其监督的标签完全来自环境
(environment)的奖励reward。

---

具体步骤如下：

1.观察得到状态$s_t$

2.根据策略网络随机抽样动作$a_t$

3.执行动作$a_t$，从环境中得到$s_{t+1}$和奖励$r_t$

4.使用TD算法更新价值网络参数$w$

5.使用策略梯度算法 (policy gradient) 更新策略网络参数$\theta$

---

3.1 TD算法更新value network

首先分别计算参数$w_t$下$t$时刻的标量价值$q(s_t,a_t;w_t)$ 和$t+1$时刻的标量价值$q(s_{t+1},a_{t+1};w_t)$。

设$y_t$为TD target 目标函数，$y_t=r_t+\gamma \cdot q(s_{t+1},a_{t+1};w_t)$。

$r_t$是外界获得的真实奖励，$\gamma$ 是折扣率$\in [0,1]$，因为往后对应的奖励影响会变化。

采用目标函数$y_t$与估计的值$q(s_t,a_t;w)$ 求方差，类似极大似然估计作为$Loss$损失函数。

沿梯度下降方向更新参数$w$，$\alpha$ 是学习率。

---

3.2 策略梯度算法更新policy network

定义函数$g(a,\theta )$为策略函数取对数后在$\theta$的偏导与标量价值的乘积。

可以计算出状态价值函数$V(s;\theta ,w)$ 对$\theta$ 的偏导等于$g(A,\theta )$ 在$A$下的期望。

因此可以用蒙特卡洛近似模拟梯度。

采用随机梯度上升，$\beta$ 是学习率。

---

3.3 更新参数图示

3.3.1 更新actor

3.3.2 更新value

---

4.算法总结

---

5.两个网络的职责

参考内容

传送门