BN层的设置技巧

Posted 2023-03-13

参考技术A 这里提到的关于BN层的使用方法是基于TensorFlow框架的，不过其他框架也类似，原理是一样的。

Batch Normalization是由google提出的一种训练优化方法。参考论文：Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift
Normalization是数据标准化（归一化，规范化），Batch 可以理解为批量，加起来就是批量标准化。
先说Batch是怎么确定的。在CNN中，Batch就是训练网络所设定的图片数量batch_size。

BN 解决的问题是梯度消失与梯度爆炸。
在深度网络中，如果网络的激活输出很大，其梯度就很小，学习速率就很慢。假设每层学习梯度都小于最大值0.25，网络有n层，因为链式求导的原因，第一层的梯度小于0.25的n次方，所以学习速率就慢，对于最后一层只需对自身求导1次，梯度就大，学习速率就快。
这会造成的影响是在一个很大的深度网络中，浅层基本不学习，权值变化小，后面几层一直在学习，结果就是，后面几层基本可以表示整个网络，失去了深度的意义。

关于梯度爆炸，根据链式求导法，
第一层偏移量的梯度=激活层斜率1x权值1x激活层斜率2x…激活层斜率(n-1)x权值(n-1)x激活层斜率n
假如激活层斜率均为最大值0.25，所有层的权值为100，这样梯度就会指数增加。

Tensorflow训练和预测中的BN层的坑

　　以前使用Caffe的时候没注意这个，现在使用预训练模型来动手做时遇到了。在slim中的自带模型中inception, resnet, mobilenet等都自带BN层，这个坑在《实战Google深度学习框架》第二版这本书P166里只是提了一句，没有做出解答。

　　书中说训练时和测试时使用的参数is_training都为True，然后给出了一个链接供参考。本人刚开始使用时也是按照书中的做法没有改动，后来从保存后的checkpoint中加载模型做预测时出了问题：当改变需要预测数据的batchsize时预测的label也跟着变，这意味着checkpoint里面没有保存训练中BN层的参数，使用的BN层参数还是从需要预测的数据中计算而来的。这显然会出问题，当预测的batchsize越大，假如你的预测数据集和训练数据集的分布一致，结果就越接近于训练结果，但如果batchsize=1，那BN层就发挥不了作用，结果很难看。

　　那如果在预测时is_traning=false呢，但BN层的参数没有从训练中保存，那使用的就是随机初始化的参数，结果不堪想象。

　　所以需要在训练时把BN层的参数保存下来，然后在预测时加载，参考几位大佬的博客，有了以下训练时添加的代码：

 1 update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
 2 with tf.control_dependencies(update_ops):
 3         train_step = tf.train.AdamOptimizer(learning_rate=0.0001).minimize(loss)
 4 
 5 # 设置保存模型
 6 var_list = tf.trainable_variables()
 7 g_list = tf.global_variables()
 8 bn_moving_vars = [g for g in g_list if ‘moving_mean‘ in g.name]
 9 bn_moving_vars += [g for g in g_list if ‘moving_variance‘ in g.name]
10 var_list += bn_moving_vars
11 saver = tf.train.Saver(var_list=var_list, max_to_keep=5)

这样就可以在预测时从checkpoint文件加载BN层的参数并设置is_training=False。

最后要说的是，虽然这么做可以解决这个问题，但也可以利用预测数据来计算BN层的参数，不是说一定要保存训练时的参数，两种方案可以作为超参数来调节使用，看哪种方法的结果更好。

感谢几位大佬的博客解惑：

　　https://blog.csdn.net/dongjbstrong/article/details/80447110?utm_source=blogxgwz0

　　http://www.cnblogs.com/hrlnw/p/7227447.html