那些年，我们踩过的Batch_normlization的坑

桃扇骨 2022-01-22 12:05 578阅读 0赞

先说一下batch\_normlization的原理吧，我就不复制粘贴了，大家可以去这个博客看一下，原理讲的挺好的

[https://blog.csdn.net/hjimce/article/details/50866313][https_blog.csdn.net_hjimce_article_details_50866313]

[https://www.cnblogs.com/bonelee/p/8528722.html][https_www.cnblogs.com_bonelee_p_8528722.html]

下面主要是我在实践当中遇到的问题。

我用tensorflow.slim模块进行训练的时候使用了bn层， 当时没有考虑那么多，就直接训练了

def bn\_relu(x,flag):  
x = slim.batch\_norm(x)  
x = tf.nn.relu(x)  
return x

但是到预估的时候发现，当一张图一张图的去做测试的时候，会发现效果很差，在前辈的指导下，知道问题出现在了BN层，只有batchsize和训练的时候保持一致或者接近时才会出现比较好的效果，这就和BN层的均值和方差有关，查完资料以后修改如下：

def bn\_relu(x,flag):  
x = slim.batch\_norm(x,is\_training=flag)\#flag标志是训练还是测试，True or False，默认为True  
x = tf.nn.relu(x)  
return x

在训练的时候要添加如下语句：

update\_ops = tf.get\_collection(tf.GraphKeys.UPDATE\_OPS) \#在训练之前添加这条语句  
with tf.control\_dependencies(update\_ops):  
train = tf.train.GradientDescentOptimizer(learning\_rate=learning\_rate).minimize(cost)

其他的保持不变，然后训练完一个epoch，保存新的模型，用新的模型再去做预测的时候 ，将flag改成False即可。

关于is\_training的解释：

is\_training: Whether or not the layer is in training mode. In training mode it would accumulate the statistics of the moments into \`moving\_mean\` and \`moving\_variance\` using an exponential moving average with the given \`decay\`. When it is not in training mode then it would use the values of the \`moving\_mean\` and the \`moving\_variance\`.

关于训练时要添加的语句的解释：

注意一但使用batch\_norm层，在训练节点定义时需要添加一些语句，slim.batch\_norm里有moving\_mean和moving\_variance两个量，分别表示每个批次的均值和方差。在训练时还好理解，但在测试时，moving\_mean和moving\_variance的含义变了，在训练时，注意tf本体的BN操作也要这步操作

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>update_ops&nbsp;</code><code>=</code>&nbsp;<code>tf.get_collection(tf.GraphKeys.UPDATE_OPS)&nbsp;</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>with tf.control_dependencies(update_ops):&nbsp;</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>train_step&nbsp;</code><code>=</code>&nbsp;<code>tf.train.GradientDescentOptimizer(</code><code>0.01</code><code>).minimize(total_loss)&nbsp;</code></p> <p><code># 注意并tf本体的batch_normal操作也需要这步操作</code></p> <p><code># 其中，tf.control_dependencies(update_ops)表示with段中的操作是在update_ops操作执行之后 再执行的</code></p> </td> 
  </tr> 
 </tbody> 
</table>

[https_blog.csdn.net_hjimce_article_details_50866313]: https://blog.csdn.net/hjimce/article/details/50866313
[https_www.cnblogs.com_bonelee_p_8528722.html]: https://www.cnblogs.com/bonelee/p/8528722.html