TensorFlow batch normalize的使用

Posted 狂徒归来

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了TensorFlow batch normalize的使用相关的知识,希望对你有一定的参考价值。

TensorFlow batch normalize的使用

batch normalize 经常与CNN搭配使用,据一些研究表面,在RNN层数不是很深的时候使用batch normalize是会用损害作用的。下面介绍下TensorFlow bath normalize的用法

tf.layers.batch_normalization()

直接把想normalize的张量传入此函数即可,不过需要注意的是,其有一个training参数,通过设置此参数用来区分此时是训练阶段还是验证或测试阶段。

然而,不要以为这样操作就完了,还需要对这个normalize层里面的一些ops进行更新

 update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
 with tf.control_dependencies(update_ops):
    train_op = optimizer.minimize(loss)

这样就能在训练的时候进行normalize层的参数更新了

以上是关于TensorFlow batch normalize的使用的主要内容,如果未能解决你的问题,请参考以下文章

TensorFlow:dataset.train.next_batch 是如何定义的?

Tensorflow 批量标准化:tf.contrib.layers.batch_norm

tensorflow-tf.train.shuffle_batch

TensorFlow batch normalize的使用

如何在 keras 中使用 tensorflow ctc_batch_cost 函数?

TensorFlow:当批次完成训练时,tf.train.batch 会自动加载下一批吗?