行人再识别年度进展 2018（转）

谁借莪１个温暖的怀抱￠ 2023-05-30 04:58 62阅读 0赞

#  #

原文链接：[https://www.jiqizhixin.com/articles/2018-06-20-17][https_www.jiqizhixin.com_articles_2018-06-20-17]

**编者按：**杜甫在《江南逢李龟年》中曾写道：

“正是江南好风景，落花时节又逢君。”

讲的是杜甫与李龟年在江南重逢的场景，其实在计算机视觉领域，在跨摄像头跟踪等场景下，也时常面临着重逢，如果与某一目标重逢时无法准确地识别出其身份，将极大地影响整个系统的跟踪性能。因此，学术界衍生出了行人再识别这一研究方向。

本文中，来自浙江大学的李玺教授，将为大家介绍过去一年中，行人再识别领域所取得的研究进展。

文末提供文中提到参考文献的下载链接。

![format_png][]

![format_png 1][]

Person ReID（Person Re-identification）解决的问题是在有多个摄像头的情况下，如何快速识别一个人的ID。这是学术界和工业界都非常关注的问题，也是一个具有挑战性的问题。

![format_png 2][]

这个过程的关键是如何识别和匹配两个人的特征信息和语义结构特点。这个过程主要分为两个步骤。第一个步骤是特征提取，主流方法是CNN。

![format_png 3][]

第二个步骤是特征Matching，核心方法有两种：一种是基于预先定义的位置，例如gloabl，local stripes和grid patches，是比较启发式的；另一种是基于semantic region，借助Person parts, salient regions和attention regions，具有一定的语义含义。

![format_png 4][]

下面从四个比较重要的领域，stripes方法，grids方法，attention方法以及pose方法来回顾一下ReID的进展。

![format_png 5][]

Stripes角度主要有三个方面的工作：DeepMetric，DeepReID和AlignedReID。

![format_png 6][]

DeepMetric把一幅图片强行分成三大块，每一大块做一个SCNN，再将各个部分整合。想法非常简单，实际应用过程中相对有效。

![format_png 7][]

DeepReID更复杂，相当于把一个人的结构分成很多小块，每一个小块进行操作。这个方法比较直接，更加细致。缺陷是在识别较为复杂的情况时，或者任何人之间特征区分较差时会受到噪音干扰。

![format_png 8][]

Stripes效果最好的是王老师的工作AlignedReID，他们通过动态规划计算距离，需要动态匹配的过程，比较复杂，但效果不错。过程分为两个部分，一个是水平的pooling，一个是global pooling，再将两部分融合，得到local distance和global distance，再加入hard sample mining。

![format_png 9][]

第二种思路是基于网格的方法，主要有两个工作。

![format_png 10][]

首先是发表在CVPR2015的工作IDLA。它将两个图片转化匹配，认为在另一个图像的邻域网格总能找到匹配。在难以匹配的情况下，可以到邻域寻找匹配，所以性能提高很多。

![format_png 11][]

下一个是我们自己的工作。我们认为之前Pre-define的过程有问题，匹配过程很难适应大场景的变换，所以基于这个不足做了一些改进。

![format_png 12][]

我们将网络结构转化成一个空间金字塔，在一层匹配不了的情况下，到上一层匹配。

![format_png 13][]

第三个是Attention方法，它借助自然语言和图像语言做特征选择。

![format_png 14][]

第一个是我们的工作，也算是比较先锋的工作，发表在ICCV2017。这个工作是简单但是非常有效的。在将一个人进行匹配时不是所有区域都参与到匹配中，我们希望加入attention map，来自动发现适合做re-identify的pattern，再做triplet loss，能够在性能上提高7到8个点。

![format_png 15][]

这个模型不需要改变任何网络结构，只需要加入attention map，很适合工程应用。

![format_png 16][]

这是我们的实验结果，发现人变大或变小，或者抠图时人抠得不好，仍然能发现ReID的pattern，这是一个很有意义的insight。

![format_png 17][]

还有工作基于我们这个思想做了一些改进。比如这项工作HPNet很复杂，有多层attention，attention map有多个layer，还有遗忘skip的功能，需要把很多过程整合起来得到一个结果。

![format_png 18][]

最后HPNet相比我们的模型有进一步的提高，但是在market数据集上比我们的效果差一点。方法越来越复杂，可能在某个数据集上表现越来越好，但是可能泛化能力越来越差。而我们的模型简单，泛化能力强。

![format_png 19][]

下面这个attention regions learning的方法进一步深化，定义了两种attention，一种是hard attention，有主干道，一种是soft attention，加入一些分支，然后把soft和hard枝干融合。最后只放出market数据集的结果，相比HA-CNN提高很多，但没有放出CHUK03的结果，无法重复实验。

![format_png 20][]

最后是基于Pose的方法，让ReID方法具有更强可解释性。

![format_png 21][]

![format_png 22][]

PDC发表在ICCV2017，它将Pose信息嵌入到结构网络中，生成一个modified结构图像，然后对这个结构图像进行识别，效果会有极大提高。

![format_png 23][]

这项工作PSE引入视角关系，将多视角结构进行整合，最后得到的结果也还不错。

![format_png 24][]

![format_png 25][]

通过回顾以上ReID的关键进展，我认为接下来如何更强调空间结构的感知，语义信息的嵌入，以及用快速有效的匹配方式进行融合，例如利用类似人脑的启发性的匹配方式，才是ReID真正应该解决的问题。

![format_png 26][]

最后感谢我的两位学生。谢谢大家！

个人主页：http://mypage.zju.edu.cn/xilics/

**参考文献链接：**

https://pan.baidu.com/s/1csXOCetmUb-LDfAI6jssGw 密码: h8ft

[https_www.jiqizhixin.com_articles_2018-06-20-17]: https://www.jiqizhixin.com/articles/2018-06-20-17
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9kY2E5OWE1ZC0xMTAyLTQ1N2MtOWE5YS1hN2UzZGMxMmRkNTQvMTUyOTQ3OTg1Mzk4MS5wbmc?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9hMDc5M2MwNi1lNDBkLTQzYzMtOGFkNi1mYTNiOGRmYzEwODIvMTUyOTQ3OTg1Mzc2OS5wbmc?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci8yYWQ0Zjc4Ni0xY2QzLTQwNTItYjliOS1mZTk2MGNmODI5MzgvMTUyOTQ3OTg1NDI0My5wbmc?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9jNjdjZmUwZC00ZmZkLTRkMjEtYTM3ZS1mOTQ3NmQzNGYxNzQvMTUyOTQ3OTg1MzYxMy5wbmc?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci8xYjg3Yzk3MS1mMzZiLTQ3NjEtOTYxOS0yZmJlNGMzZDRhZTIvMTUyOTQ3OTg1NDA4MC5wbmc?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci84OGE0Y2EyOC1lNmQxLTQwN2UtOTJiZS0zNmFhZGJlMzA2MTcvMTUyOTQ3OTg1Mzg2MC5wbmc?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9lYzgwNzE3ZC1hYzIyLTQ0MzYtYTFmMy1kNWFlNGE4N2MzYjMvMTUyOTQ3OTg1NDM2MS5wbmc?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9jYjYwNWRjNS1lNzczLTQ5ZTYtYTM0Ni1jNzI2ZDIxYWRjMjIvMTUyOTQ3OTg1NTYwMi5wbmc?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci80NDM3ODc2MS03ZWVkLTQ3NzAtODQwMy05YzFiZTJjZWNlMzYvMTUyOTQ3OTg1NTMyMS5wbmc?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci82YmJiYzI3ZC0xMmMxLTRjZTUtYmVlYy0zY2UxMTZhMDhmOGYvMTUyOTQ3OTg1NDQzMi5wbmc?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9jM2ZjNTUxZS1hMzhlLTQ1NjItYjQ1Mi1mNWRkMmFjYjc0YWYvMTUyOTQ3OTg1NTc0Ni5wbmc?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9hOGZjYzkyMi1lMjQ0LTQzN2EtODQ2NC1jNTMwNzQ3ODQxOGEvMTUyOTQ3OTg1NTQ0OC5wbmc?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci8zMzE2NzZhZS05ZjZhLTQyZWUtOWFlNi04ZjZiOTY5ZTBjNDcvMTUyOTQ3OTg1NzE1Mi5wbmc?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9jN2NiMmQ1MS1jZDUxLTRiMzYtOGEwMC1kNWRkNDgxNzFjMmUvMTUyOTQ3OTg1NzIyOC5wbmc?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9kZGI4NGE1My01Yzc0LTRmNDQtOWFjOS1iNDI4ODlkMzc0OGIvMTUyOTQ3OTg1NzYwNS5wbmc?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci82YWZlNmU2NC1iMmJiLTQ5MGUtOGNjMS01ZjA1OWRjNDNmYzAvMTUyOTQ3OTg1NzQ4OC5wbmc?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9hNzdkOWM5ZC1kYjFkLTQzNzItYmQ0MS0zOWZjNzViNTZjNTEvMTUyOTQ3OTg1NzczNS5wbmc?x-oss-process=image/format,png
[format_png 17]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci8wNWQwN2U3My05MmY3LTQyNGQtOTY0NC1iNzYxOTZiNDQ4ZDEvMTUyOTQ3OTg1NzM1OC5wbmc?x-oss-process=image/format,png
[format_png 18]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci8xYTYyMzg2ZS03YzRjLTRhODMtOGFmOS00NWI2NTY5MWEwZDEvMTUyOTQ3OTg1Nzg5Ny5wbmc?x-oss-process=image/format,png
[format_png 19]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9lNTBkMjlkNS0wMGRhLTQ1ZWEtYTY2My1iM2IzNmNmOWIwMjAvMTUyOTQ3OTg1ODAyOS5wbmc?x-oss-process=image/format,png
[format_png 20]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9kNmM0ZjhiMi1mNDFhLTRkNDUtODFhYy0yMjg4ZDQ0ZjRkODEvMTUyOTQ3OTg1ODY1MC5wbmc?x-oss-process=image/format,png
[format_png 21]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9mYzFkM2U4ZS0xMGM4LTQ5YzAtOGEzYy03NzU4ZDc1ODk0NDIvMTUyOTQ3OTg1OTA5MS5wbmc?x-oss-process=image/format,png
[format_png 22]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci8yZWYzZjEzNC0zYWMwLTQ5MGYtYmZlZS04ZTMyNTg4Zjk4YzcvMTUyOTQ3OTg1ODc4OC5wbmc?x-oss-process=image/format,png
[format_png 23]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci8xZWJmNWMwMy03YThhLTQ1NjMtYjYyYS01NTViNjA4NDcyZTkvMTUyOTQ3OTg1ODkxMy5wbmc?x-oss-process=image/format,png
[format_png 24]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci8wZGNmYmM5Ny1hYzFhLTQyNzgtYTE3Ny0wZDkxYjQ1MmU0NTUvMTUyOTQ3OTg1OTM2Mi5wbmc?x-oss-process=image/format,png
[format_png 25]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci9mNDRiNzJiZi0xYzJiLTQ4YTctYWMzZS01YjhkYjZhN2VjNDkvMTUyOTQ3OTg1OTIwOC5wbmc?x-oss-process=image/format,png
[format_png 26]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZS5qaXFpemhpeGluLmNvbS91cGxvYWRzL2VkaXRvci8yYzJmZjJjNi05NTIxLTQxMWQtOWI1ZC1iYjRmMGZjNWQ2ZjkvMTUyOTQ3OTg1OTQzMy5wbmc?x-oss-process=image/format,png