增强学习笔记 第八章 表格类方法的规划与学习

Posted 米老虎M

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了增强学习笔记 第八章 表格类方法的规划与学习相关的知识,希望对你有一定的参考价值。

8.1 模型与规划

规划,指利用已有经历对环境提炼模型,减少对环境交互的依赖。

 

 

8.2 Dyna框架

8.3 当模型不对时

第一种情况,原路已经行不通,在堵塞处往返多次后,value会被慢慢修正,并找到正确的路

第二种情况,发现新的短路,这种情况吧Dyna-Q几乎找不到这条路,但是Dyna-Q+作了改进,对很久没更新的(s,a),reward会附加上$k\\sqrt t$。

8.4 Prioritized Sweeping

通过价值发生变化的程度来进行规划,变化大的优先规划,变化过小的略过规划

 

8.5 规划的另一种理解

对规划通常的理解是改善策略,也可以理解为为决定下一个action作准备。

对于象棋这种不需要太快响应的应用来说,花更多时间在规划上可以使下一步下的更好。

 

8.6 启发式搜索

传统的启发式搜索并不保存action value,但实际上可以和backup结合,用来高效地改进action value。

如果我们有一个完美的模型(例如棋类游戏),但是价值函数不完美,那么我们用较深的启发式搜索可以获得更好的策略。

 

8.7 蒙特卡洛树搜索

首先,并发出一大堆等概率随机的trajactories,然后,根据每个路径上的赢率,选择赢率最大的。

(略)

以上是关于增强学习笔记 第八章 表格类方法的规划与学习的主要内容,如果未能解决你的问题,请参考以下文章

《JAVA编程思想》学习笔记——第八章 多态

python基础学习笔记——Python基础教程(第2版 修订版)第八章(异常)

Linux学习笔记 第八章 文本处理工具与正则表达式

第八章学习小结

第八章学习小结

高等数学学习笔记 第八章5到6节