增强学习----介绍

Posted 2020-07-17 YC_Yuan

PS：本文为阅读周志华《机器学习》笔记

介绍-------任务与奖赏

我们如果要种西瓜，那要经过很多步骤后，才有可能种出一田好瓜，当然也有可能种出的瓜很差，或者直接给种死了。那么将种瓜的过程抽象出来，总结出一系列好的操作，归为种瓜策略，那么，这个过程，就是“增强学习”。

这是一个简单的图示，其中：

机器处于环境中，状态空间为X，比如此例，状态空间可以是健康，缺水，凋亡等等，小x为状态空间X中单个状态。

机器所能采取的动作为a，比如：浇水，不浇水；所有动作构成动作集合A。

某个动作a作用在某个状态x上，则潜在的转移函数P将使得环境从当前状态按照某种概率转移到另一个状态。如：缺水状态，选择浇水，则有概率转移到健康状态。

那么，在转移到另一个状态时（另一个状态也可以是原本的状态），环境会根据潜在的“奖赏”函数R反馈给机器一个奖赏，如：健康为+1，缺水为-1，凋亡为-100。

综合起来，增强学习任务对应了一个四元组E=<X,A,P,R>，

其中，P:X*A*X->R;指定了状态转移概率。R：X*A*X->指定了奖赏；

思考：X与A之间的叉叉符号是什么关系？

环境中状态的转移、奖赏的返回时不受机器控制的，机器只能通过选择要执行的动作来影响环境，也只能通过观察转移后的状态和返回的奖赏来感知环境。

下图给出一个例子：仔细看在每个状态下，采取的动作a后状态转移的概率p和所获得的奖赏r；

机器要做的就是通过在环境中不断地尝试而学得一个“策略”π，根据这个策略，在状态x下就知道要执行的动作a=π(x),例如:看到缺水状态，就知道要选择浇水动作；

策略有两种表示方法：一是将策略表示为函数π：X->A,确定性策略常用这种表示方法；

另一种是概率表示π：X *A ->概率，随机性策略常用这种表示；

思考：什么是确定性策略，什么是随机性策略？

那么，π(x,a)为在一个状态x下选择某个动作a的概率，必须有；这里的意思是，在缺水状态下，选择浇水这个动作的概率之和为1.概率是指选择动作的概率；

思考：p是表示状态转移概率，为何在状态x下选择某个动作的转移概率之和也为1？巧合还是有关联

学习的目的就是找到使长期积累奖赏最大化的策略，长期积累有多种计算方式，常用的有“T步累积奖赏”和“伽马折扣累积奖赏”。其中rt表示第t步获得的奖赏值，E表示对所有的随机变量求期望；

与监督学习的差别：

“状态”对应监督学习中的“示例”，就是去掉标记特征的样本。
“动作”对应为“标记”
“策略”对应为“分类器”

从这个意义上说，增强学习可以看作具有“延迟标记信息”的监督学习问题。