训练神经网络时，batchsize的设置方法，以达到GPU算力的充分利用

「爱情、让人受尽委屈。」 2022-04-23 04:00 1067阅读 0赞

先在窗口转路径 cd [C:][C]\\Program Files\\NVIDIA Corporation\\NVSMI   然后输入指令nvidia -smi 就会显示图右侧的信息框，那里可以看到显卡总显存和正在占用的显存数值。

此外，更直接的方法就是到任务管理器 -> 性能 -> GPU0 -> 专用GPU内存，就可以看到总显存及实时占用显存。

注：batchsize大小与网络复杂程度负相关，也即不同网络在相同batchsize下会占用的显存数量是不同的。

如图：以我跑的mtcnn为例。跑O网络，batchsize=2000时就占用了10G的显存(我2080ti总共11G显存)；但跑R网络部分，batchsize=10000时才占用不到10G的显存。所以，根据占用的情况逐渐增加批次，直到充分利用了显存就好了。![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5OTM4NjY2_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5OTM4NjY2_size_16_color_FFFFFF_t_70 1][]

[C]: https://www.baidu.com/s?wd=C%3A&tn=24004469_oem_dg&rsv_dl=gh_pl_sl_csd
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5OTM4NjY2_size_16_color_FFFFFF_t_70]: /images/20220323/4ea68e4e85204df3b2031005415795aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5OTM4NjY2_size_16_color_FFFFFF_t_70 1]: /images/20220323/96d34eff72824ac8af82543ed5b80504.png

发表评论取消回复

表情：

评论列表（有 0 条评论，1067人围观）

还没有评论，来说两句吧...

相关阅读

相关在Kaggle免费使用GPU训练自己的神经网络

Kaggle上有免费（每周30小时）供大家使用的GPU计算资源，本文教你如何使用它来训练自己的神经网络。 ![0.png][] Kaggle是什么 `Kagg...

短命女/ 2024年04月19日 11:56/ 0 赞/ 149 阅读

相关服务器使用指定的 GPU 训练神经网络(笔记)

简单记个笔记当我们用实验室服务器的多个 GPU 训练神经网络并指定特定的 GPU 时可以使用以下命令: 1、torch 1.9.0 之前的版本(不包括 1.9.0)

r囧r小猫/ 2024年04月01日 09:10/ 0 赞/ 169 阅读

相关神经网络的训练过程、常见的训练算法、如何避免过拟合

神经网络的训练是深度学习中的核心问题之一。神经网络的训练过程是指通过输入训练数据，不断调整神经网络的参数，使其输出结果更加接近于实际值的过程。本文将介绍神经网络的训练过程、常见

悠悠/ 2023年10月09日 23:59/ 0 赞/ 129 阅读

相关算力网络 — 算力的网络

目录文章目录目录算力网络算力网络的定义算力网络在前面的内容中，我们讨论了什么是算力，什么是算力中心，以及异构计算和泛在计算之间

曾经终败给现在/ 2023年10月07日 20:13/ 0 赞/ 153 阅读

相关算力网络 — 算力中心

目录文章目录目录算力中心算力中心的算力区域划分算力中心的部署位置划分公有云算力中心的特征边缘云算力中

ゝ一世哀愁。/ 2023年10月07日 20:13/ 0 赞/ 145 阅读

相关算力网络 — 算力

目录文章目录目录算力算力的数学定义算力的计量单位算力的分类算力算力，即：计算能力（Computing Pow

桃扇骨/ 2023年10月07日 20:12/ 0 赞/ 142 阅读

相关在Kaggle免费使用GPU训练自己的神经网络

Kaggle上有免费供大家使用的GPU计算资源，本文教你如何使用它来训练自己的神经网络。 ![0.png][] Kaggle是什么 `Kaggle`是一个数据

缺乏、安全感/ 2023年08月17日 16:52/ 0 赞/ 182 阅读

相关训练神经网络时，batchsize的设置方法，以达到GPU算力的充分利用

先在窗口转路径 cd [C:][C]\\Program Files\\NVIDIA Corporation\\NVSMI 然后输入指令nvidia -smi 就会显示图右侧

「爱情、让人受尽委屈。」/ 2022年04月23日 04:00/ 0 赞/ 1068 阅读

相关 FLOPS与GOPS：各平台及神经网络算力算量调研

目录一、GOPS与FLOPS 1.1 FLOPS FLOPS定义 FLOPS换算前标的十进制与二进制显卡FLOPS值 1.2 GOPS 1.3 FLOP与

爱被打了一巴掌/ 2022年03月31日 10:52/ 0 赞/ 1268 阅读

相关神经网络中Epoch、Iteration、Batchsize辨析

1.深度学习中经常看到epoch、iteration和batchsize，三者区别：（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集

谁借莪１个温暖的怀抱￠/ 2022年02月28日 08:22/ 0 赞/ 289 阅读