ICCV2021 Oral SimROD：简单高效的数据增强！华为提出了一种简单的鲁棒目标检测自适应方法...

傷城~ 2022-09-16 08:44 63阅读 0赞

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

![6fa503655bfb557558cea2d918063d51.png][]

作者丨小马

来源丨我爱计算机视觉

**▊****写在前面**

本文提出了一种简单有效的鲁棒目标检测无监督自适应方法(SimROD)。为了克服域转移（domain shift）和伪标签噪声（pseudo-label noise）等问题，本文的方法集成了**域中心增强方法（domain-centric augmentation method）** 、**渐进的自标签适应机制（gradual self-labeling adaptation procedure）** 和**教师指导的微调机制（teacher-guided fine-tuning mechanism）** 。

使用本文的方法，目标域样本可以用来调整目标检测模型，而不改变模型结构或生成合成的数据。当应用于图像损坏和高级跨域自适应基准数据集上测试时，本文的方法在多个域自适应基准数据集上优于之前的baseline方法。

**▊****1. 论文和代码地址**

![07b47012bd0cf2c06784975c038d29f9.png][]

SimROD: A Simple Adaptation Method for Robust Object Detection

论文：https://arxiv.org/abs/2107.13389

代码：https://github.com/reactivetype/simrod

**▊****2. Motivation**

当测试集的数据分布和训练集相似时，SOTA的目标检测模型能够达到比较高的精度。但是，当部署到新环境中时，比如天气变化（如雨或雾）、光照条件变化或图像损坏（如运动模糊），模型的精度就会大幅度下降。

这种失败不利于自动驾驶等场景，在这些场景中，域转移是常见且不可避免的。为了使它们在以可靠性为关键的应用程序中取得更高的性能，使检测模型对域转移具有更强的鲁棒性是很重要的。

目前，已经提出了许多方法来克服域转移的目标检测。它们大致可以分为数据增强、域对齐、域映射和自标记技术。**数据增强** 方法可以提高在一些固定的域位移集上的性能，但不能推广到与增强样本不相似的数据中。

**域对齐** 方法使用来自目标域的样本来对齐网络的中间特征。**域映射** 方法使用图像到图像的转换网络（比如：GAN）将标记的源图像转换为看起来像未标记的目标域图像的新图像。

**自标记** 是一种不错的方法，因为它利用了来自目标域的未标记的训练样本。**然而，在域转移下生成准确的伪标签是困难的；当伪标签有噪声时，使用目标域样本进行自适应是无效的** 。

在本文中，作者提出了一种简单的鲁棒对象检测自适应方法(SimROD)，利用域混合数据增强和教师指导下的逐步自适应策略来减轻域转移的影响。SimROD主要有三个特点：

1）首先，它不需要目标域数据的Ground Truth标签，而是利用未标记的样本。

2）其次，它既不需要复杂的模型结构更改，也不需要生成模型来创建合成数据

3）第三，它与模型结构无关的，并不局限于基于区域的检测器。

**▊****3. 方法**

## 3.1. Problem statement ##

给定一个参数为θ的目标检测的源模型M，该模型由源训练数据集，进行训练，其中是一个图像，每个标签由目标类别和边界框坐标组成。

原始源数据D的输入分布：与目标测试集数据分布：之间存在偏移的情况。即，而。

在无监督的域自适应设置中，可以目标域取出了一组未标记的图像，在训练中可以使用这部分数据。任务的目标是将模型参数θ更新到θ中，以在源测试集和目标测试集上都能实现良好的性能。为了有效地利用中的附加信息，需要解决两个问题：

1）首先，目标训练集没有Ground Truth标签。

2）其次，利用源模型θ为生成伪标签会导致由域位移引起的有噪声监督，阻碍了自适应过程。

## 3.2. Simple adaptation for Robust Object Detection ##

本文提出了简单的自适应方法SimROD，以实现鲁棒的目标检测模型。SimROD集成了**一种教师指导的微调** 、**一种新的DomainMix增强方****法**和**一种逐步适应技术** 。

### 3.2.1 Overall approach ###

![13d8d4b04a546866571cf6db51528bd4.png][]

本文方法的motivation是**标签噪声会被域位移加剧** 。因此，本文的方法旨在在目标域图像上生成准确的伪标签，并将来自源域和目标域的混合图像一起使用，从而为模型的调整提供强有力的监督信号。

由于学生目标模型可能不足以生成准确的伪标签，作者首先使用可以生成高质量伪标签的辅助教师模型，然后再用学生模型进行微调。整个算法的流程如上图所示。大致可以分为几步：

1）基于源数据，训练一个比学生模型容量大的源教师模型，得到参数θ。源教师模型用于生成目标数据上的初始伪标签。

2）利用逐步适应算法，将大型教师模型参数从θ逐步更改为θ。在这一步中，使用的是由DomainMix增强生成的混合图像，而不是单独的源数据集或者目标数据集的图片。

3）使用自适应的教师模型参数θ来细化目标数据上的伪标签。然后，使用这些伪标签来微调学生模型。

这种方法的一个好处是，它可以使小模型和大模型同时适应域的转移，因为即使在学生网络很小时，它也能产生高质量的伪标签。另一个优点是，教师和学生不需要共享相同的结构。因此，教师模型可以选择的一个参数量大、计算量大的模型来提高精度，学生模型可以选择一个轻量级的模型。

### 3.2.2 DomainMix augmentation ###

![ab55fc51b04d2ce4aeefce01d02fa93d.png][]

在本文中，作者提出了一种新的增强方法DomainMix。如上图所示，它均匀地对来自源域和目标域的图像进行采样，并将这些图像连同其（伪）标签混合到一个新的图像中。

![66e3831ca83f15684f28594a398b6c3f.png][]

上图显示了一个来自自然和艺术领域的DomainMix 图像的示例。

DomainMix使用了许多简单的想法来减轻域的转移和标签噪声：

*  它通过从源和目标集中随机采样并混合图片，产生一组不同的图像。它在每个epoch都使用了不同的图像样本，从而增加了训练样本的有效数量，防止了过拟合（原理类似CutMix数据增强）。
 *  它的数据处理效率比较高，因为它使用了来自这两个域的加权平衡采样。这有助于学习对数据转移具有健壮性的表示，即使目标数据集的样本有限或源和目标数据集高度不平衡。
 *  它在同一幅图像中混合了Ground Truth标签和伪标签。这减轻了自适应过程中错误标签的影响，因为图像总是包含来自源域的准确标签。

![3dfdf4b3fe482f8986c258c4f8e49efb.png][]

DomainMix的数据增强方法如上图所示，对于一个Batch中的每一幅图像，首先从源和目标数据中随机抽取另外三张图像，并混合这些图像的随机crop，在2×2的模板中创建一个新的域混合图像。

并将伪标签和真实标签都标注到混合的图片中，目标的边界框坐标是根据新的混合图像中每个crop的相对位置计算的。此外，作者使用加权平衡采样器从这两个域中进行均匀采样。

### 3.2.3 Gradual self-labeling adaptation ###

接下来，作者提出了一个逐步适应的方法来优化检测模型的参数，该算法减轻了标签噪声的影响。由源模型生成的伪标签可能在目标域图像上有噪声，直接微调模型所有的层会阻碍模型的适应。

作者提出了一种分阶段性的方法。首先，冻结了所有的卷积层，在前w个epoch只适应BN层，在第一阶段结束后，BN层的参数就被更新了。

然后使用部分适应的模型来生成更精确的伪标签，为了简单起见，它被离线完成。在第二阶段，所有的层都被解冻，然后使用精细的伪标签进行微调。在这两个阶段，都使用由DomainMix增强生成的混合图像样本。算法的流程如下所示：

![75f90e7c4fe6a3fb12ee0ad922f2ec2d.png][]

**▊****4.实验**

## 4.1. Synthetic-to-real and cross-camera benchmark Datasets ##

### Sim10K to Cityscapes ###

![b89539e636ce164eccc9525c1a465c79.png][]

上表展示了Sim10K到Cityscapes上，本文方法和SOTA方法的对比。

![7f712a0d8ca410b7898b685ba59fdfbd.png][]

上图展示了与之前的baseline相比，SimROD将模型从Sim10K调整到Cityscapes的有效性。

### KITTI to Cityscapes benchmark ###

![1ce1491265d6d3a91e4c524b550924e2.png][]

上表显示了KITTI到Cityscapes上，本文提出的SimROD在性能上优于各种baseline方法。

## 4.2. Cross-domain artistic benchmark ##

![62a40de11bf9994e24a58d917baeceb7.png][]

上表展示了VOC（真实图片）到Watercolor（水彩画）数据集上的性能对比。

## 4.3. Image corruptions benchmark ##

### Main results ###

![7317d7675f726c0e4adf213fc5214f90.png][]

![14fbedd86f1fdc746ed3d1dc1ac431e1.png][]

![e24fc44a493071c9cc0e39cda37bf1fc.png][]

上表显示了Pascal-C、COCO-C和Cityscapes-C数据集上的Yolov5m模型的实验结果。

### Ablation Study ###

![23547d10b714bd86dcf729a367d838a7.png][]

上表显示了Yolov5m模型在Pascal-C数据集上不同模块消融的实验结果。

### Qualitative analysis ###

![69149fe4d615a71e38c26f3d99e3249f.png][]

上表展示了一些本文方法和其他方法的一些检测结果的例子。

**▊****5. 总结**

在本文中，作者提出了一种简单而有效的无监督方法来适应域位移下的检测模型。本文中的自标记框架采用了一种域中心的增强方法和教师指导的微调适应模型。基于现有的小模型和大模型，本文的方法在模型鲁棒性方面取得了显著的性能增益。本文的方法不仅减轻了由于低级图像损坏而引起的域位移的影响，而且在源域和目标域之间存在高级风格差异时，它也可以适应模型。

这篇解决的问题是**如何让生成的伪标签更加好** ，因为如果直接用源模型生成伪标签效果并不好，会存在噪声。所以作者就把源模型生成的伪标签定义为初始伪标签，然后用一种数据增强的方式，将伪标签和真实标签都放在同一张图片中，类似CutMix，对教师模型进行微调。微调完了之后，再对目标数据集生成伪标签，这样的伪标签相比于初始伪标签的效果会更好。因此学生模型在这样的伪标签上进行微调效果也会更好。

**▊** **作者简介**

研究领域：FightingCV公众号运营者，研究方向为多模态内容理解，专注于解决视觉模态和语言模态相结合的任务，促进Vision-Language模型的实地应用。

知乎/公众号：FightingCV

本文仅做学术分享，如有侵权，请联系删文。

##  ##

**重磅！计算机视觉工坊****-学习****交流群****已成立**

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在**交流顶会、顶刊、SCI、EI等写作与投稿事宜。**

**同时**也可申请加入我们的细分方向交流群，目前主要有**ORB-SLAM系列源码学习、****3D视觉**、**CV&深度学习**、**SLAM**、**三维重建**、**点云后处理**、**自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流**等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。**原创投稿**也请联系。

![17b81a4e8d33949516f41865d8bdc429.png][]

▲长按加微信群或投稿

![29e7f64c5ca5d4c9f571f94e6ded1ad1.png][]

▲长按关注公众号

##  ##

**3D视觉从入门到精通知识星球**：针对3D视觉领域的**视频课****程（**[**三维重建系列**][Link 1]**、**[**三维点云系列**][Link 2]**、**[**结构光系列**][Link 3]**、**[**手眼标定**][Link 4]**、**[**相机标定**][Link 5]**、激光/视觉SLAM、自动驾驶等****）、****知识点汇总、入门进阶学习路线、最新paper分享、疑问解答**五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

##  ##

![7b18ed385af953514e9d6a7f4462a866.png][]

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

**觉得有用，麻烦给个赞和在看~**

[6fa503655bfb557558cea2d918063d51.png]: /images/20220828/22fb7df43c3c4c4e82eb80a90b05b193.png
[07b47012bd0cf2c06784975c038d29f9.png]: /images/20220828/70c1217b0d764d088039dacaee4f8ea6.png
[13d8d4b04a546866571cf6db51528bd4.png]: /images/20220828/275623d117d54c1fb347229cbd90eda7.png
[ab55fc51b04d2ce4aeefce01d02fa93d.png]: /images/20220828/ad91f9fd32df4fdbba4789d3434c6462.png
[66e3831ca83f15684f28594a398b6c3f.png]: /images/20220828/1fcc7e6ea28e4d0ca2d7825db6ecc0d1.png
[3dfdf4b3fe482f8986c258c4f8e49efb.png]: /images/20220828/e46dd2b33eca4b619fc63ef5e61a5929.png
[75f90e7c4fe6a3fb12ee0ad922f2ec2d.png]: /images/20220828/8f1d83e0818a423393027add56eb7c6b.png
[b89539e636ce164eccc9525c1a465c79.png]: /images/20220828/3726c1cca76f42f6b464794285044ec6.png
[7f712a0d8ca410b7898b685ba59fdfbd.png]: /images/20220828/f270312f57f24ea0875ddc31ce5af4d7.png
[1ce1491265d6d3a91e4c524b550924e2.png]: /images/20220828/6d05d6dcdded4efb8ca80a1bf99d6fa4.png
[62a40de11bf9994e24a58d917baeceb7.png]: /images/20220828/2949c4fffb814907860a104e44269665.png
[7317d7675f726c0e4adf213fc5214f90.png]: /images/20220828/8e5b1dc61a484aa1955992e92619f7d2.png
[14fbedd86f1fdc746ed3d1dc1ac431e1.png]: /images/20220828/560e32923ea34f0b8fce3534cda38860.png
[e24fc44a493071c9cc0e39cda37bf1fc.png]: /images/20220828/befc9cdf41464b9986c1a6561fa36647.png
[23547d10b714bd86dcf729a367d838a7.png]: /images/20220828/568379524d0947158f44808bb14b3a8d.png
[69149fe4d615a71e38c26f3d99e3249f.png]: /images/20220828/4b795c2e714943bc8727527a1cb33451.png
[17b81a4e8d33949516f41865d8bdc429.png]: /images/20220828/1ebe40f6f4854d07be7e9ac5cf2a9b3d.png
[29e7f64c5ca5d4c9f571f94e6ded1ad1.png]: /images/20220828/e111f67fe5284bf89ed3c4698e3433bc.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247549738&idx=1&sn=88b4aa9e091077f107407bddc8da7acd&chksm=fbfc281ecc8ba10823e11ac0044b5a94920806c83d30d8cb90630a41ecb23ad458106b9b1f58&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247551625&idx=1&sn=4a914cfeb2d251ab25421e1e5de930c0&chksm=fbfc21bdcc8ba8abac371478a6b2b9d143a1b31fa799201c6682d9d0b6a4ed4a7da146b3c536&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247546284&idx=2&sn=d067a98047192a04f21489aca338a5d6&chksm=fbfc1e98cc8b978e5fb6b2afd1a473c89e2861374542421b9972f87a6fdfcd47eb50c443042e&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247554670&idx=2&sn=cf3323178d5d1960476208e6303a8479&chksm=fbfc3d5acc8bb44c184084dcf447a5981d297815d62bef699129338d99a0472c622f96ee71d8&scene=21#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247486422&idx=1&sn=381ab793959aed0eb6f01019dea522d4&chksm=fbff20e2cc88a9f456b80e23d2482fb319b08e89da071b39597bc51942a6aa7b756a6749856c&scene=21#wechat_redirect
[7b18ed385af953514e9d6a7f4462a866.png]: /images/20220828/be6f1b7a01c747ec8026150b4d803687.png