GPU有限，如何提高batch size

一时失言乱红尘 2023-06-11 05:29 32阅读 0赞

那么从：

[https://github.com/mathildor/DeepLab-v3/blob/master/g3doc/faq.md][https_github.com_mathildor_DeepLab-v3_blob_master_g3doc_faq.md]

deeplabv3+也是谷歌团队，tensorflow就是他们的产品。可以看到提高batch size 的方法。

batchsize不仅对于batch normalization至关重要，而且梯度下降也需要一定的batchsize，比如batchsize=8

所以可以通过：

1.  减少图片的面积，比如将图片crop到原来的一般大小。或者513\*513->321\*321,要注意2的倍数问题。
2.  减小网络复杂度，将参数变少，比如换backbone。
3.  并行使用更多GPU，这是普遍的用法，也是必须的，因为通常要8个甚至16个GPU一同工作。
4.  注意使用：
    
        session_config.gpu_options.allow_growth = True
              with tf.train.MonitoredTrainingSession(
                    master=FLAGS.master,
                    is_chief=(FLAGS.task == 0),
                    config=session_config,
                    scaffold=scaffold,
                    checkpoint_dir=FLAGS.train_logdir,
                    summary_dir=FLAGS.train_logdir,
                    log_step_count_steps=FLAGS.log_steps,
                    save_summaries_steps=FLAGS.save_summaries_secs,
                    save_checkpoint_secs=FLAGS.save_interval_secs,
                    hooks=[stop_hook]) as sess:
                  while not sess.should_stop():
                    sess.run([train_tensor])
    
    如果没有gpu\_options.allow\_growth我的一块gpu能跑batch size=3，如果加了这个设置，能跑batch size=4。

[https_github.com_mathildor_DeepLab-v3_blob_master_g3doc_faq.md]: https://github.com/mathildor/DeepLab-v3/blob/master/g3doc/faq.md