强化学习 马尔科夫决策过程（价值迭代策略迭代雅克比迭代）

Posted 2022-12-11 好奇小圈

文章目录

• 一、马尔科夫过程Markov Decision Process（MDP）
• • 1.简介
  • 2、Markov 特性
  • 3、Markov 奖励过程
  • • 符号表示
    • MRPs的贝尔曼方程
  • 4、Markov决策过程
  • • 符号表示
    • 转化
    • MRPs的贝尔曼方程
    • 优化问题
    • 贝尔曼最优方程
• 二、价值迭代求解
• • 1、回顾
  • 2、算法
  • 3、案例
  • • 案例1
    • 案例2
• 三、策略迭代求解
• • 1、回顾
  • 2、算法
  • 3、案例
  • • 案例1
• 四、雅克比迭代法解决自举问题
• • 1、自举问题
  • 2、雅克比迭代
  • • 列主原消去法
    • 雅克比迭代法
• 参考

---

一、马尔科夫过程Markov Decision Process（MDP）

1.简介

定义：无记忆的随机过程。

2、Markov 特性

1.历史状态h_t=s₁,s₂,s₃,……,s_t
2.状态s_t有且仅有：
p ( s_t+1 | s_t )=p ( s_t+1 | h_t )
p ( s_t+1 | s_t , a_t )=p ( s_t+1 | h_t , a_t )
3.“考虑到现在，未来是独立于过去的”

---

3、Markov 奖励过程

符号表示

有四个符号$<S,P,R,\gamma >$
$S$：有限状态集合；
$P$：状态转移概率矩阵$P_{s{s}^{\prime }}=p(s_{t+1}=s^{\prime }|s_t=s)$；表现为，既当前状态为$s_t=s$时，下一个状态变为$s_{t+1}=s^{\prime }$的概率。

$R$：奖励函数$R_S=E[R_{t+1}|S_t=s]$ ，既状态单次转换取得的收益；如下图所示

$\gamma$：折扣因子/衰减系数$\gamma \in [0,1]$。

回报：$G_t$是从时间$t$开始的总折扣奖励，如下式
$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$$
值函数：$V(s)$表示一个状态$s$的长期价值$V(s)=E[G_t|S_t=s]$，如下图所示

MRPs的贝尔曼方程

已知，
$$G_t=R_{t+1}+\gamma G(S_{t+1})$$
可得，
$$V(s)=E[R_{t+1}+\gamma G(S_{t+1})|S_t=s]$$
已知，
$$\begin{gathered} R_S=E[R_{t+1}|S_t=S] \\ {P}_{s{s}^{\prime }}=P[S_{t+1}=s^{\prime }|S_t=s] \end{gathered}$$
可得，
$$V(s)=R_S+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}V(s^{\prime })$$
矩阵形式如下，

$$\begin{gathered} V=R+\gamma PV \\ (1-\gamma P)V=R \\ V=(1-\gamma P{)}^{-1}R \end{gathered}$$
常用求解方法有动态规划、蒙特卡洛评估、时序差分学习等。

4、Markov决策过程

符号表示

有五个符号$<S,A,P,R,\gamma >$
$S$：有限状态集合；
$A$：有限动作集合；
$P$：状态转移概率矩阵 P s s ′ a = p ( s t + 1 = s ′ ∣ s t = s , A t = a ) P_ss'^a=p (s_t+1 = s' | s_t = s,A_t=a) <