强化学习理论知识整理汇总

Posted 2022-04-11 zstar-_

前言

本篇旨在总结强化学习相关术语，主要参考了邹伟等人所著的《强化学习》（清华大学出版社）这本书。

策略

在状态s下执行动作a的概率。
$$\pi (a\mid s)=P\left(A_t=a\mid S_t=s\right)$$
确定性策略：输出动作a为确定的一个动作。
随机性策略：输出动作a多个动作的概率分布。

预测与控制

预测（评估）：评估当前的策略有多好，即求解既定策略下的状态值函数。
控制（改善）：改善当前策略，即求解所有可能策略中最优价值函数及最优策略。

贝尔曼方程

状态值函数

状态值函数指从状态s开始，遵循当前策略$\pi$时所获得的期望回报。
$$V_{\pi }(s)=E_{\pi }\left[G_t\mid S_t=s\right]=E_{\pi }\left[R_{t+1}+\gamma R_{t+2}+\cdots \mid S_t=s\right]$$
通过下面的推导，可以将其化成迭代形式：
$$\begin{array}{rl}{V}_{\pi }(s)& =E_{\pi }\left[G_t\mid S_t=s\right]\\ & =E_{\pi }\left[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots \mid S_t=s\right]\\ & =E_{\pi }\left[R_{t+1}+\gamma \left(R_{t+2}+\gamma R_{t+3}+\cdots \right)\mid S_t=s\right]\\ & =E_{\pi }\left[R_{t+1}+\gamma G_{t+1}\mid S_t=s\right]\\ & =E_{\pi }\left[R_{t+1}+\gamma V\left(S_{t+1}\right)\mid S_t=s\right]\end{array}$$

动作值函数

和状态值函数类似，动作值函数在状态s下多了一个选择动作a。
$$\begin{array}{rl}{Q}_{\pi }(s,a)& =E_{\pi }\left[G_t\mid S_t=s,A_t=a\right]\\ & =E_{\pi }\left[R_{t+1}+\gamma Q_{\pi }\left(S_{t+1},A_{t+1}\right)\mid S_t=s,A_t=a\right]\end{array}$$

贝尔曼期望方程

贝尔曼期望方程有四种表达方式。(其实就是将一个迭代图进行了拆分）

(1)基于状态s，采取动作a，求$V_{\pi }(s)$
V π ( s ) = ∑ a ∈ A π ( a ∣ s ) Q π ( s ,