什么是 Q-learning

Posted 2023-05-16

参考技术A

我们以一个迷宫寻宝的游戏为例来看什么是 Q-learning。

在这个游戏中，agent 从一个给定的位置开始，即 起始状态 。
在不穿越迷宫墙壁的前提下，在每个状态时，都可以选择 上下左右四个方向走一步，或者原地不动 ，
上下左右这四个动作的每一个都会将 agent 带到网格的一个新的单元格，即 新的状态 ，
在迷宫中有一个网格处有宝箱，这个网格就是 目标状态 ，
此外，在某些网格处还有一些炸弹，
我们的目标是找到一条没有炸弹的路径，以最快的速度从起始状态到达目标状态。

这个迷宫就是 environment，
将 agent 放在里面时，它首先需要探索，因为它不知道炸弹是什么在哪里，也不知道宝藏是什么在哪里，
我们通过给它 rewards 来告诉它炸弹和宝藏的概念，
遇到炸弹就 -10，
遇到宝藏就 +10，
为了让 agent 找到最短路径，我们可以给其他状态的奖励为 -1，
告诉 agent 它的目标是使奖励最大化，
然后 agent 就可以开始探索了，过程中它会学习到炸弹是有害的，宝藏是好的，还能找到最短路径。

Q-Learning 就是要学习在一个给定的 state 时，采取了一个特定的行动后，能得到的奖励是什么。

这时可以用一个表格来记录每组 state 和 action 时的值，

这个表，首先被初始化为 0，
然后每走一步，都相应地更新表格，

其中更新的方法是用 Bellman Equation：

其中，
S 代表当前的状态，a 代表当前状态所采取的行动，
S’ 代表这个行动所引起的下一个状态，a’ 是这个新状态时采取的行动，
r 代表采取这个行动所得到的奖励 reward，γ 是 discount 因子，

由公式可以看出 s，a 对的 Q 值等于 即时奖励 + 未来奖励的 discount。
γ 决定了未来奖励的重要性有多大，
比如说，我们到了一个状态，它虽然离目标状态远了一些，但是却离炸弹远了一些，那这个状态的即时奖励就很小，但是未来奖励就很多。

算法是：

下面来将上面的算法实际计算一下：

用一个最简单的例子，两行两列，每个格子代表一个状态，有一个炸弹和宝藏，并设置 alpha = 1：

reward 表如下：

1. 初始的 Q-table 的值全是 0
每一行代表一个状态，每一列代表每个状态时可以有 5 种行动，上下左右和原地不动：

首先将 γ 设置为 0.8，
2. 例如我们从状态 1 开始走，可以向下或者向右
3. 我们先选择向下
4. 这时到达了状态 3
5. 在状态 3 可以向上, 或者向右
6. 用 Bellman Equation 更新 Q-table:

Q(1,D) = R(1,D) + γ * [ max( Q(3,U) & Q(3,R) ) ] = -10 + 0.8 * 0 = -10

R(1,D) = -10 是从状态 1 向下走到了炸弹处，
Q(3,U) 和 Q(3,R) 都是 0，因为初始表格都还是 0，

于是更新后的表格变成了这样：

7. 然后将状态 3 变成当前状态，
这时假设我们选择向右，就走到了 4，
在 4 处可以选择向上或者向左，
于是再根据公式计算 Q 值：

Q(3,R) = R(3,R) + 0.8 * [ max( Q(4,U) & Q(4,L) ) ] = 10 + 0.8 * 0 = 10

更新后的表格为：

这时我们走到了 4 也就是目标状态了，就可以结束这条路径了。

接下来可以重复上面的过程，走更多次，让 agent 尝试完所有可能的 state-action 组合，直到表格的值保持不变了，它也就学会了所有状态和行为的 Q 值：

学习资料：
https://towardsdatascience.com/introduction-to-q-learning-88d1c4f2b49c
http://mnemstudio.org/path-finding-q-learning-tutorial.htm

推荐阅读 历史技术博文链接汇总
http://www.jianshu.com/p/28f02bb59fe5
也许可以找到你想要的：
[入门问题][TensorFlow][深度学习][强化学习][神经网络][机器学习][自然语言处理][聊天机器人]

强化学习

 

• 简介

  1. 1.1 什么是 强化学习 (Reinforcement Learning)
  2. 1.2 强化学习方法汇总 (Reinforcement Learning)
  3. 1.3 为什么用强化学习 Why?
  4. 1.4 课程要求

• Q-learning

  1. 2.1 小例子
  2. 2.2 什么是 Q Leaning
  3. 2.3 Q-learning 算法更新
  4. 2.4 Q-learning 思维决策

• Sarsa

  1. 3.1 什么是 Sarsa
  2. 3.2 Sarsa 算法更新
  3. 3.3 Sarsa 思维决策
  4. 3.4 什么是 Sarsa(lambda)
  5. 3.5 Sarsa-lambda

• Deep Q Network

  1. 4.1 什么是 DQN
  2. 4.2 DQN 算法更新 (Tensorflow)
  3. 4.3 DQN 神经网络 (Tensorflow)
  4. 4.4 DQN 思维决策 (Tensorflow)
  5. 4.5 OpenAI gym 环境库
  6. 4.6 Double DQN (Tensorflow)
  7. 4.7 Prioritized Experience Replay (DQN) (Tensorflow)
  8. 4.8 Dueling DQN (Tensorflow)

• Policy Gradient

  1. 5.1 什么是 Policy Gradients
  2. 5.2 Policy Gradients 算法更新 (Tensorflow)
  3. 5.3 Policy Gradients 思维决策 (Tensorflow)

• Actor Critic

  1. 6.1 什么是 Actor Critic
  2. 6.2 Actor Critic (Tensorflow)
  3. 6.3 什么是 Deep Deterministic Policy Gradient (DDPG)
  4. 6.4 Deep Deterministic Policy Gradient (DDPG) (Tensorflow)
  5. 6.5 什么是 Asynchronous Advantage Actor-Critic (A3C)
  6. 6.6 Asynchronous Advantage Actor-Critic (A3C) (Tensorflow)
  7. 6.7 Distributed Proximal Policy Optimization (DPPO) (Tensorflow)

• Model Based RL