基于线性函数近似的安全强化学习 Safe RL with Linear Function Approximation 翻译 2

Posted 2022-11-11 白水baishui

论文：Safe Reinforcement Learning with Linear Function Approximation
下载地址：http://proceedings.mlr.press/v139/amani21a/amani21a.pdf
会议/年份：PMLR / 2021

Word版本下载地址（辛辛苦苦打出来的）：https://download.csdn.net/download/baishuiniyaonulia/85863332
本文翻译属于半人工，有错漏请谅解。

文章目录

• 摘要、1、2、3
• 4. 扩展到随机化的策略选择 Extension to randomized policy selection
• • 4.1. 随机SLUCB-QVI Randomized SLUCB-QVI
  • • 引理 2 （面对 RSLUCB-QVI 安全约束的乐观态度） Lemma 2 (Optimism in the face of safety constraint in RSLUCB-QVI)
    • 定理 3 （RSLUCB-QVI 的遗憾） Theorem 3 (Regret of RSLUCB-QVI)
• 5. 实验 Experiments
• • 5.1. 合成环境中的SLUCB-QVI SLUCB-QVI on synthetic environments
  • • 定义1 （有限星凸集） Definition 1 (Finite star convex set)
  • 5.2. 冰冻湖环境下的RSLUCB-QVI RSLUCB-QVI on Frozen Lake environment
• 6. 结论 Conclusion

摘要、1、2、3

基于线性函数近似的安全强化学习 Safe RL with Linear Function Approximation 翻译 1 —— https://blog.csdn.net/baishuiniyaonulia/article/details/125504660

4. 扩展到随机化的策略选择 Extension to randomized policy selection

第 2 节中介绍的 SLUCB-QVI 只能输出确定性策略。 在本节中，我们表明我们的结果可以扩展到随机策略选择的设置，这在实践中可能是可取的。 随机策略 $\pi :\mathcal{S}\times [H]\to {\Delta }_{\mathcal{A}}$ 将状态和时间步映射到动作上的分布，使得 $a\sim \pi (s,h)$ 是策略 π 建议智能体在处于状态 $s\in \mathcal{S}$ 时在时间步 $h\in [H]$ 执行的动作。 在每个情节 k 和时间步 $h\in [H]$ 中，当处于状态 $s_h^k$ 时，智能体必须从 a 中提取其动作 $a_h^k$ 安全策略 ${\pi }_k\left(s_h^k,h\right)$ 使得$${\mathbb{E}}_{a_h^k\sim {\pi }_k\left(s_h^k,h\right)}{c}_h\left(s_h^k,a_h^k\right)\le \tau$$概率很高。 我们相应地定义了一组未知的安全策略$${\tilde{\Pi }}^{\text{safe }}:=\pi :\pi (s,h)\in {\Gamma }_h^{\text{safe }}(s),\forall (s,h)\in \mathcal{S}\times [H]$$

其中 ${\Gamma }_h^{\text{safe}}(s):=\theta \in {\Delta }_{\mathcal{A}}:{\mathbb{E}}_{a\sim \theta }{c}_h(s,a)\le \tau$。因此，在第 k 回合的时间步 $h\in [H]$ 观察状态 $s_h^k$ 之后，智能体的策略选择必须属于 ${\Gamma }_h^{\text{safe}}(s_h^k)$ 概率很高。在这个公式中，策略 π 的（动作）价值函数定义中的期望值超过了环境和策略 π 的随机性。我们用 ${\tilde{V}}_h^{\pi }$ 和 ${\tilde{Q}}_h^{\pi }$ 来表示它们，以区别于 ${\tilde{V}}_h^{\pi }$ 和 ${\tilde{Q}}_h^{\pi }$ 在 (2) 和 (3) 中定义，用于确定性策略 π。令 ${\pi }_{\ast }$ 为最优安全策略，使得 ${\tilde{V}}_h^{{\pi }_{\ast }}(s):={\tilde{V}}_h^{\ast }(s)=\underset{\pi \in {\tilde{\Pi }}^{\text{safe }}}{\sup }{\tilde{V}}_h^{\pi }(s)$ 对于所有 $(s,h)\in \mathcal{S}\times [H]$。因此，对于所有 $(a,s,h)\in \mathcal{A}\times \mathcal{S}\times [H]$，安全策略的贝尔曼方程 $\pi \in {\tilde{\Pi }}^{\text{safe }}$ 和最优安全策略是

Q ~ h π ( s , a ) = r h ( s , a ) + [ P h V ~ h + 1 π ] ( s , a ) , V ~ h π ( s ) = E a ∼ π ( s ,