增强学习笔记 第八章 表格类方法的规划与学习
Posted 米老虎M
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了增强学习笔记 第八章 表格类方法的规划与学习相关的知识,希望对你有一定的参考价值。
8.1 模型与规划
规划,指利用已有经历对环境提炼模型,减少对环境交互的依赖。
8.2 Dyna框架
8.3 当模型不对时
第一种情况,原路已经行不通,在堵塞处往返多次后,value会被慢慢修正,并找到正确的路
第二种情况,发现新的短路,这种情况吧Dyna-Q几乎找不到这条路,但是Dyna-Q+作了改进,对很久没更新的(s,a),reward会附加上$k\\sqrt t$。
8.4 Prioritized Sweeping
通过价值发生变化的程度来进行规划,变化大的优先规划,变化过小的略过规划
8.5 规划的另一种理解
对规划通常的理解是改善策略,也可以理解为为决定下一个action作准备。
对于象棋这种不需要太快响应的应用来说,花更多时间在规划上可以使下一步下的更好。
8.6 启发式搜索
传统的启发式搜索并不保存action value,但实际上可以和backup结合,用来高效地改进action value。
如果我们有一个完美的模型(例如棋类游戏),但是价值函数不完美,那么我们用较深的启发式搜索可以获得更好的策略。
8.7 蒙特卡洛树搜索
首先,并发出一大堆等概率随机的trajactories,然后,根据每个路径上的赢率,选择赢率最大的。
(略)
以上是关于增强学习笔记 第八章 表格类方法的规划与学习的主要内容,如果未能解决你的问题,请参考以下文章