强化学习第三四章

Posted 2022-10-30 lin-kid

1、梯度下降选择固定步长可能产生的情况：收敛、发散、重复的在两个数之间跳跃

2、np.zeros_like(x)  生成一个shape和x一样的全为0的数组

3、plt.counter画等高线图

4、tensorflow的scope  变量命名空间

（1）若tf.Variable(初始值,name=‘ ‘)这种方式，每一个scope都会对名字产生影响

　　若tf.variable_scope(‘123‘)这种方式， 只有variable_scoope这种会对名字产生影响

（2）在同一个scope内，当同样名字的name_scope再次被声明的时候，scope的名字不会直接被复用，而是会通过改名创建全新的scope

　　                                  当同样名字的variable_scope再次声明的时候，scope直接复用了

5、tensorflow进行图运算之前需要：(1）创立回话层with tf.Session() as sess （2）初始化所有的变量sess.run(global_variables_initializer())

　　　　　　　　　　　　　　　　(3) sess.run([运算1,运算2]，feed_dict=)   feed_dict是输入参数

若要访问计算图，两步 （1）graph=tf.get_default_graph()  (2) print(graph.get_operations())

6、当使用加操作的时候，若用c=a+b，get_operations 输出得到的是“add:0"，若用c=tf.add(a,b,‘c‘),输出得到的才是一个叫c的变量，通过graph.get_tensor_by_name可以访问的到，尽可能为每一个option起好名字

7、还存在的问题：共轭梯度方法和自然梯度方法