在目标检测中如何解决小目标的问题？

你的名字 2023-01-17 08:19 252阅读 0赞

> 作者：Nabil MADALI
> 
> 编译：ronghuaiyang AI公园  
>

**导读**

本文介绍了一些小目标物体检测的方法和思路。

在深度学习目标检测中，特别是人脸检测中，由于分辨率低、图像模糊、信息少、噪声多，小目标和小人脸的检测一直是一个实用和常见的难点问题。然而，在过去几年的发展中，也出现了一些提高小目标检测性能的解决方案。本文将对这些方法进行分析、整理和总结。

# 图像金字塔和多尺度滑动窗口检测 #

一开始，在深学习方法成为流行之前，对于不同尺度的目标，通常是从原始图像开始，使用不同的分辨率构建图像金字塔，然后使用分类器对金字塔的每一层进行滑动窗口的目标检测。

![e42f57d9f0d3fa8703307f01b58720be.png][]

在著名的人脸检测器**MTCNN**中，使用图像金字塔法检测不同分辨率的人脸目标。然而，这种方法通常是缓慢的，虽然构建图像金字塔可以使用卷积核分离加速或简单粗暴地缩放，但仍需要做多个特征提取，后来有人借其想法想出一个特征金字塔网络FPN，在不同层融合特征，只需要一次正向计算，不需要缩放图片。它也被应用于小目标检测，这将在后面的文章中讨论。

# 简单，粗暴和可靠的数据增强 #

通过增加训练集中小目标样本的种类和数量，也可以提高小目标检测的性能。有两种简单而粗糙的方法：

*  针对COCO数据集中含有小目标的图片数量较少的问题，使用过采样策略：

![275ad271c25cab6fed4a516be1b41e8d.png][]

不同采样比的实验。我们观察到，不管检测小目标的比率是多少，过采样都有帮助。这个比例使我们能够在大小物体之间做出权衡。

*  针对同一张图片中小目标数量少的问题，使用分割mask切出小目标图像，然后使用复制和粘贴方法(当然，再加一些旋转和缩放)。

![aeddb8db151fa8039fb2a0a0fb0a3387.png][]

通过复制粘贴小目标来实现人工增强的例子。正如我们在这些例子中所观察到的，粘贴在同一幅图像上可以获得正确的小目标的周围环境。

在Anchor策略方法中，如果同一幅图中有更多的小目标，则会匹配更多的正样本。

![17a7b1c97d105284b7a169e0be613909.png][]

与ground truth物体相匹配的不同尺度anchor示意图，小的目标匹配到更少的anchor。为了克服这一问题，我们提出通过复制粘贴小目标来人工增强图像，使训练过程中有更多的anchor与小目标匹配。

# 特征融合FPN #

不同阶段的特征图对应不同的感受野，其所表达的信息抽象程度也不同。

浅层特征图感受野小，更适合检测小目标，深层特征图较大，更适合检测大目标。因此，有人提出将不同阶段的特征映射整合在一起来提高目标检测性能，称之为特征金字塔网络FPN。

![ce5ab0f16676bd0546304e2469108b77.png][]

(a)利用图像金字塔建立特征金字塔。特征的计算是在每个图像的尺度上独立进行的，这是很缓慢的。(b)最近的检测系统选择只使用单一尺度的特征以更快地检测。另一种选择是重用由ConvNet计算出的金字塔特征层次结构，就好像它是一个特征图金字塔。(d)我们提出的特征金字塔网络(FPN)与(b)和©一样快，但更准确。在这个图中，特征图用蓝色轮廓线表示，较粗的轮廓线表示语义上较强的特征。

由于可以通过融合不同分辨率的特征图来提高特征的丰富度和信息含量来检测不同大小的目标，自然会有人进一步猜测，如果只检测高分辨率的特征图(浅层特征)来检测小人脸，使用中分辨率特征图(中间特征)来检测大的脸。

![0c4ba4c0e0f1a89c2bfd28d132b625c8.png][]

SSH的网络结构

# 合适的训练方法SNIP, SNIPER, SAN #

在机器学习**中有一点很重要，模型预训练的分布应该尽可能接近测试输入的分布**。因此，在大分辨率(如常见的224 x 224)下训练的模型不适合检测小分辨率的图像，然后放大并输入到模型中。

如果输入的是小分辨率的图像，则在小分辨率的图像上训练模型，如果没有，则应该先用大分辨率的图片训练模型，然后再用小分辨率的图片进行微调，最坏的情况是直接使用大分辨率的图像来预测小分辨率的图像(通过上采样放大)。

因此，在实际应用中，对输入图像进行放大并进行高速率的图像预训练，然后对小图像进行微调比针对小目标训练分类器效果更好。

![a7d23537f27d49554895728729606207.png][]

所有的图都报告了ImageNet分类数据集验证集的准确性。我们对48、64、80等分辨率的图像进行上采样，在图(a)中绘制出预训练的ResNet-101分类器的Top-1精度。图(b、c)分别为原始图像分辨率为48,96像素时不同cnn的结果。

# 更密集的Anchor采样和匹配策略S3FD, FaceBoxes #

如前面的数据增强部分所述，将一个小目标复制到图片中的多个位置，可以增加小目标匹配的anchor数量，增加小目标的训练权重，减少网络对大目标的偏置。同样，在逆向思维中，如果数据集已经确定，我们也可以增加负责小目标的anchor的设置策略，使训练过程中对小目标的学习更加充分。

例如，在FaceBoxes中，其中一个贡献是anchor策略。

![07ceab91253c6cee9bae75e249f8d4bf.png][]

Anchor变的密集例子。为了清晰起见，我们只对一个感受野中心(即中央黑色网格)密集化锚点，并只给对角锚点上色。

Anchor密集化策略，使不同类型的anchor在图像上具有相同的密度，显著提高小人脸的召回率。

# 总结 #

本文较详细地总结了一般目标检测和特殊人脸检测中常见的小目标检测解决方案。

![71c6c961b855c04b300c3b8c4856f4f6.png][]

—END—

英文原文：https://medium.datadriveninvestor.com/how-to-deal-with-small-objects-in-object-detection-44d28d136cbc

声明：部分内容来源于网络，仅供读者学术交流之目的。文章版权归原作者所有。如有不妥，请联系删除。

**猜您喜欢：**

![915695fba7f3c9e1d2fb081d8132946a.png][]

![52e51ebeca2d547dc38eb6fcc3295022.png][]

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![85779bfc554e0f646c82a258bee929cc.png][]

[e42f57d9f0d3fa8703307f01b58720be.png]: /images/20221021/2a2e2de01c5648e48146bd9d2f390200.png
[275ad271c25cab6fed4a516be1b41e8d.png]: /images/20221021/c2fb57ecc9fa4e72b54802a90cfaf904.png
[aeddb8db151fa8039fb2a0a0fb0a3387.png]: /images/20221021/fb070d27c1244e00a6d5cbe52c127bfd.png
[17a7b1c97d105284b7a169e0be613909.png]: /images/20221021/3a8ac7102abc40ce961c875e10d21a29.png
[ce5ab0f16676bd0546304e2469108b77.png]: /images/20221021/e70e392a7638468aaf5cbb6204ae839e.png
[0c4ba4c0e0f1a89c2bfd28d132b625c8.png]: /images/20221021/296b7831f3af4b5fa12dc14fa1972da8.png
[a7d23537f27d49554895728729606207.png]: /images/20221021/87b7c5749c094ad4aa5bc39126ab10fd.png
[07ceab91253c6cee9bae75e249f8d4bf.png]: /images/20221021/ba9c3bd55d4943a48188d8ac7082ed2e.png
[71c6c961b855c04b300c3b8c4856f4f6.png]: /images/20221021/7fc9c42d8e284e069a4dbd6745ca4853.png
[915695fba7f3c9e1d2fb081d8132946a.png]: /images/20221021/2300950590134ab7870439a20475d454.png
[52e51ebeca2d547dc38eb6fcc3295022.png]: /images/20221021/28b215c48c1e4dcc950c254fc06b9b38.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[85779bfc554e0f646c82a258bee929cc.png]: /images/20221021/86851202f3814173b2d422c70e4d9c26.png