目标检测《EfficientDet: Scalable and Efficient Object Detection》

梦里梦外; 2023-01-23 07:58 38阅读 0赞

### **EfficientDet特点：** ###

1.  采用了带权重的双向FPN网络BiFPN进行特征融合，并通过模型学习得到不同特征的权重参数，不同的特征融合方式P3-P7，就得到了不同大小的EfficientDet模型
2.  提出了对于resolution、depth、width进行联合扩展进行模型尺度缩放，提升模型性能

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 1][]

上图中，FPN是特征将金字塔网络，PANet是基于FPN的改进，NAS-FPN是使用网络搜索的方式自动确定特征融合的方式（可解释性差），BiFPN是EfficientDet中采用的特征融合方式。

###  ###

### **FPN特征融合计算方法如下：** ###

![20210713193705335.png][]

其中，Resize可以是反卷积模块进行上采样。

### **借鉴于FPN和PANet，以及NAS-FPN的融合方式，本文的BiFPN特征融合方法如下：** ###

1.  移除掉PANet中只有一个输入边的节点，也就是上图中PANet上标记removed的节点，这个设计的灵感来自于“只有一个输入就无法进行融合”的直觉。
2.  增加同一层级中原始输入节点到输出节点的直连边，类似于Resnet中的short cut。也就是上图中BiFPN上P4、P5、P6层的直连线条。
3.  不同于PANet模块只有一个由上至下，以及一个由下至上的路径，本文将BiFPN作为一个小的特征融合网络，并横向堆叠使用多次。

### **EfficientDet网络模型结构图：** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 2][]

### **带权重特征融合：** ###

本文作者设计了三种带权重特征融合方法：

1.  权重为一个标量，对特征整体进行加权融合
2.  权重为一个向量，对特征的每个channel进行加权融合
3.  权重为一个多维向量，对特征的每个pixel进行加权融合

对于上述三种特征融合方法，作者实验了几种融合的实现方式：

**方式一：**

![20210713193753338.png][]

![20210713193812487.png][]可以是学习到任何参数，参数范围没有限制导致训练过程不稳定。

**方式二：**

![20210713193849398.png][]

对学习到的参数进行softmax归一化，但是引入softmax会使训练过程变慢。

**方式三：**

![20210713193904972.png][]

先对学习到的![20210713193932816.png][]进行Relu变化使得参数大于等于0，然后进行求和归一化到\[0,1\]之间。

*备注：以上权重归一化方式都是以**BiFPN**网络的节点为单位的，是在各个节点的特征融合中进行权重归一化。*

![20210713194011881.png][]

![20210713194019993.png][]

上述公式是P6层两个节点的加权特征融合。

### **EfficientDet****中****resolution****、****width****、****depth****混合缩放，得到不同大小的网络模型：** ###

**BackBone****缩放采用与****EfficientDet****同样的方式：**

![20210713194044219.png][]

**BiFPN****的****width****和****depth****缩放：**

![2021071319405458.png][]

**输出层预测网络的缩放：**

Width缩放：

![20210713194104680.png][]

Depth缩放：

![2021071319411481.png][]

**输入图像分辨率缩放：**

![20210713194125218.png][]

对不不同的缩放系数![20210713193414836.png][]，得到不同的网络模型大小D0-D7。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70]: /images/20221004/bd0f7023a58546fa8399572f351e6251.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 1]: /images/20221004/811c5cb585af4341ae695b44139d3d5f.png
[20210713193705335.png]: /images/20221004/0de1957e6ac745e7bbbd8c744f4b0490.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 2]: /images/20221004/74b7e2662a5340baa80baf1e40a0dbcf.png
[20210713193753338.png]: /images/20221004/585ba08faccb402ca9669a0a99e87d3d.png
[20210713193812487.png]: /images/20221004/9285b95a65c94d958e88671bd0e22c43.png
[20210713193849398.png]: /images/20221004/357015df27864886889c2782e2db1a14.png
[20210713193904972.png]: /images/20221004/23ff08261cea4f528a1cc7af779fb271.png
[20210713193932816.png]: /images/20221004/394d42d9a3aa4aae9377fa72f7209b35.png
[20210713194011881.png]: /images/20221004/6d7e6b17d33e4553a14eb07af2e1a567.png
[20210713194019993.png]: /images/20221004/3d6ec478224c434897a51e2d48ba4893.png
[20210713194044219.png]: /images/20221004/fe6089f6a79b4fd282e2671b8daf1e3a.png
[2021071319405458.png]: /images/20221004/c6759c82868543d5a46edb4879d01fdd.png
[20210713194104680.png]: /images/20221004/d7de36f13893412ab453a320095a6753.png
[2021071319411481.png]: /images/20221004/158e20254e844e6884e23ea3a4507d93.png
[20210713194125218.png]: /images/20221004/31e697df615944cc90dc1efc15690778.png
[20210713193414836.png]: /images/20221004/dd62e1056a9247948afe57a8089c70bc.png