ImageNet主要网络benchmark对比

曾经终败给现在 2024-04-17 15:40 106阅读 0赞

深度神经网络繁多，各自的性能指标怎样？  
实际应用中，在速度、内存、准确率等各种约束下，应该尝试哪些模型作为backbone？

有paper对各个网络模型进行了对比分析，形成了一个看待所有主要模型的完整视角，其分析结果可以在实践中提供指导和帮助。

这篇博客主要整合了其中3篇文章的结论，分别是

1.  [201605-An Analysis of Deep Neural Network Models for Practical Applications][]
2.  [201809-Analysis of deep neural networks][]
3.  [201810-Benchmark Analysis of Representative Deep Neural Network Architectures][]

文章1和3是paper，2是篇博客（对1的更新）。这3篇文章对图像识别任务（ImageNet-1k）主要的state of the art网络进行了对比分析，采用的指标有：

*  **accuracy**，准确率，只使用cental crop，评估Top1、Top5在ImageNet-1k上的准确率
 *  **model complexity**，模型复杂度，通过模型的可学习参数量衡量（近似为模型文件大小），反映了自由度
 *  **computational complexity**，计算复杂度，操作次数，通过floating-point operations (FLOPs)衡量，Multiply-add乘加运算为2 FLOPS
 *  **memory usage**，内存大小（空间复杂度）
 *  **inference time**，推理时间
 *  **accuracy density**，等于 accuracy / modle size，用来衡量**参数的利用效率**

比较重要的结论有：

*  计算复杂度高，识别准确率不一定高；参数量大，识别准确率也不一定高。——**好的网络结构设计很重要**，比如ResNet系的模型。
 *  **不同模型的参数利用效率不同**，目前来看针对移动端设计的网络参数利用效率较高，如MobileNet、ShuffleNet、SqueezeNet等，但在Top1准确率高于80%的模型中，Inception-V4和SE-ResNeXt-101的利用率较高
 *  操作次数（FLOPs）是推理时间的良好估计
 *  为了满足不同的内存和速度要求，可选的最优模型不同

其他一些更细致的结论可以参看论文，下面贴一下论文中的重要图表。

论文[An Analysis of Deep Neural Network Models for Practical Applications][201605-An Analysis of Deep Neural Network Models for Practical Applications]诞生于2016年5月，文中对当时的主要模型（从AlexNet到Inception-v4）进行了对比分析，得到了那张流传甚广的ball chart。后来在2018年9月，文章作者Eugenio Culurciello在博客[Analysis of deep neural networks][201809-Analysis of deep neural networks]中，对图表进行了更新，包括了Shufflenet、Mobilenet、Xception、Densenet、Squeezenet等新近模型的对比分析，更新的ball chart如下：

![Top1 vs. operations, size ∝ parameters][Top1 vs. operations_ size _ parameters]  
图中，blob的中心为模型在图表中的位置，blob的大小对应模型的参数量，横轴为操作次数，纵轴为Top-1 center crop的准确率，**越靠近左上角的模型计算复杂度越低、准确率越高，blob越小的模型参数越少**。

论文[An Analysis of Deep Neural Network Models for Practical Applications][201605-An Analysis of Deep Neural Network Models for Practical Applications]中，推理时间和操作数的关系图表如下，不出意料的正相关  
![Operations vs. inference time][]

论文[Benchmark Analysis of Representative Deep Neural Network Architectures][201810-Benchmark Analysis of Representative Deep Neural Network Architectures]中，做了更详细的对比，如下图所示，**左上角ResNet系的模型表现强劲，右上角NASNet-A-Large的准确率最高但计算复杂度也最大**：  
![accuracy vs computational complexity][]

参数利用率如下：  
![accuracy density and Top-1 accuracy][]  
速度（帧率）与准确率如下，图中的曲线为特定硬件下帧率与性能的上界，横轴为帧率的对数，  
![Top-1 accuracyvs.number of images processed per second (with batch size 1)][Top-1 accuracyvs.number of images processed per second _with batch size 1]  
模型参数量与内存占用大小如下，GPU上内存占用最少的也在0.6G以上，  
![model size vs memory][]  
对于每个网络具体的推理时间和内存占用情况可以参见论文原文，有更详细的描述。

给定硬件平台上，在不同内存和速度约束下的最优模型如下：  
![Top 5 models][]  
[Benchmark Analysis of Representative Deep Neural Network Architectures][201810-Benchmark Analysis of Representative Deep Neural Network Architectures]的代码基于pytorch，详见[models-comparison.pytorch][]。

# 参考 #

*  [Benchmark Analysis of Representative Deep Neural Network Architectures][201810-Benchmark Analysis of Representative Deep Neural Network Architectures]
 *  [models-comparison.pytorch][]
 *  [Analysis of deep neural networks][201809-Analysis of deep neural networks]
 *  [An Analysis of Deep Neural Network Models for Practical Applications][201605-An Analysis of Deep Neural Network Models for Practical Applications]
 *  [torch-opCounter][]

[201605-An Analysis of Deep Neural Network Models for Practical Applications]: https://arxiv.org/abs/1605.07678
[201809-Analysis of deep neural networks]: https://medium.com/@culurciello/analysis-of-deep-neural-networks-dcf398e71aae
[201810-Benchmark Analysis of Representative Deep Neural Network Architectures]: https://arxiv.org/abs/1810.00736
[Top1 vs. operations_ size _ parameters]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzA4LzI4L21UcENKcy5wbmc?x-oss-process=image/format,png
[Operations vs. inference time]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzA4LzI4L203NU1IeC5wbmc?x-oss-process=image/format,png
[accuracy vs computational complexity]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzA4LzI4L203cjRVQS5wbmc?x-oss-process=image/format,png
[accuracy density and Top-1 accuracy]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzA4LzI4L203eXR3NC5wbmc?x-oss-process=image/format,png
[Top-1 accuracyvs.number of images processed per second _with batch size 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzA4LzI4L203UkhGZS5wbmc?x-oss-process=image/format,png
[model size vs memory]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzA4LzI4L203aEVaVi5wbmc?x-oss-process=image/format,png
[Top 5 models]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzA4LzI4L203b2lmVS5wbmc?x-oss-process=image/format,png
[models-comparison.pytorch]: https://github.com/CeLuigi/models-comparison.pytorch
[torch-opCounter]: https://github.com/apaszke/torch-opCounter