《深度强化学习——边做边学》第二章 在走迷宫任务中随机探索 （修改后的代码）

Posted 2020-12-15 devilmaycry812839668

如下图所示：

 

 初始点在 S0， 终点在S8， 其中红线的部分是墙，不能通过，绿色的圆圈是此刻所在位置。

在任一的状态时可以选的动作其概率都是均等的，如果三个动作可以选就各为0.333333，如果是两个动作可以选就各是0.5。

 

 

 

 

 

原书中已经提供代码，但是感觉看起来不是很明晰，于是修改了一下：

 

 

 

 

 

在修改代码的时候发现下面的一个有意思的事情，就是如果做100000次实验，那么所走的步数从小到大排序其所占实验的次数并不是一个高斯形状的分布，实验之前原本以为下面的分布会是小步数和大步数的实验占比较小而处于中间步数的实验占比大，但是实际情况如下：

 

 

 

 

 

 

感觉这个现象还是蛮有意思的，不知道该如何解释。