强化学习 double DQN 代码注释解析

Posted 2022-09-20 软件工程小施同学

 

  

初始化过程：初始化操作。初始化神经网络的参数，同时也会执行若干次transition来初始化记忆库。例如，记忆库的容量N=500，可以选择执行200次transition来初始化记忆库，这样学习过程可以从记忆库中抽取batch个transition，进行学习了。

  存储过程：更新记忆库。每发生一次transition，都会存入记忆库，超出记忆库容量N，会先删去记忆库中最早存入的transition。在存储过程中，只执行eval_net来获取Q值，进而根据实际情况，得到动作，奖励，和下一状态。

  学习过程：更新eval_net参数。可以选择发生若干步存储过程，执行一次学习过程。

  更新过程：更新target_net参数。一般发生若干步学习过程，执行一次更新过程。

 

强化学习：Q-learning与DQN（Deep Q Network）_Leon_winter的博客-CSDN博客_qlearning和dqn文章目录Q-learningDQNexperience replayfix Q type  Q-learning是一种很常用的强化学习方法，DQN则是Q-learning和神经网络的结合。Q-learning  首先要设计状态空间s，动作空间a，以及reward。一次transition就是（s，a，w，s_）一次episode就是DQNQ-learning如果状态很多，动作很多时，需要建立的q表也会十分的庞大，因此神经网络就是用来算动作的q-value的为了帮助收敛experiencehttps://blog.csdn.net/leon_winter/article/details/106456683

强化学习（十）Double DQN (DDQN) - 刘建平Pinard - 博客园在强化学习（九）Deep Q-Learning进阶之Nature DQN中，我们讨论了Nature DQN的算法流程，它通过使用两个相同的神经网络，以解决数据样本和网络训练之前的相关性。但是还是有其他https://www.cnblogs.com/pinard/p/9778063.html