物体跟踪：基于Sort/Deep Sort的物体跟踪解析

淡淡的烟草味﹌ 2023-05-22 14:29 22阅读 0赞

**目录**

SORT - SIMPLE ONLINE AND REALTIME TRACKING

概述

解析SORT算法代码

SORT算法的优缺点

Deep SORT - SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC

关联度量(ASSOCIATION METRIC)

关联算法 Matching Cascade

--------------------

# SORT - SIMPLE ONLINE AND REALTIME TRACKING #

*  论文 http://arxiv.org/pdf/1602.00763.pdf
 *  代码 [https][][://][https][github.com/abewley/sort][https]

## 概述 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70][] SORT算法示意2

SORT跟踪算法到底在干什么？（以单目标跟踪为例说明如下）

*  假设T1时刻成功跟踪了某个单个物体，ID为1，绘制物体跟踪BBox（紫色）
 *  T2时刻物体检测BBox总共有4个（黑色），预测T2时刻物体跟踪的BBox（紫色）有1个，解决紫色物体跟踪BBox如何与黑色物体检测BBox关联的算法，就是SORT物体跟踪算法要解决的核心问题
 *  SORT关联两个BBox的核心算法是：用IOU计算Bbox之间的距离 + 匈牙利算法选择最优关联结果

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 1][] SORT算法示意2

物体跟踪与物体检测是**两件不同的事**

物体跟踪是把物体跟踪预测的BBox与物体检测的BBox**关联**，然后用对应的物体检测BBox代表成功跟踪的BBox结果

以上图为例

*  T1时刻已经成功跟踪了3个检体(不同颜色的BBox代表不同的物体ID)
 *  T2时刻除了所有物体检测的新位置BBox（灰色），还要物体跟踪预测的Bbox（非灰的其它不同颜色BBox）与物体检测Bbox（灰色）关联，从而分辨出哪一个物体跟踪的Bbox对应哪一个物体检测的BBox，从而产生T2时刻的物体跟踪BBox结果（包括新增物体跟踪器跟踪T2中新检测到的物体）
 *  T3时刻如果被追踪的物体发生了遮挡(红框BBox的物体)，那么要继续能找到该物体并追踪 (避免ID Switch)

物体跟踪有几个主要任务以及它们对应的解决方案

*  检测-深度学习的各种检测网络来实现物体检测
 *  跟踪预测与关联-Tracking的算法来实现物体追踪(比如 本文介绍的SORT)
 *  ID Switch- Tracking的算法来解决遮挡物体(比如 deep SORT)
 *  ReID(跨摄像头发现和跟踪同一个物体，避免ID switch) -  比如 deep SORT

## 解析SORT算法代码 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 2][] 代码分析1

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 3][] 代码分析2

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 4][] 算法图示

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 5][] 代码分析3

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 6][] 代码分析4

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 7][] 代码分析5

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 8][] 代码分析6

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 9][] 代码分析7

## SORT算法的优缺点 ##

<table> 
 <tbody> 
 <tr> 
 <td>优点</td> 
 <td>缺点</td> 
 </tr> 
 <tr> 
 <td> 速度快&nbsp; </td> 
 <td> 对于物体遮挡几乎没有处理，导致ID switch 次数很高 </td> 
 </tr> 
 <tr> 
 <td> 在没有遮挡的情况下准确度很高 </td> 
 <td> 有遮挡的情况下准确度很低 </td> 
 </tr> 
 </tbody> 
</table>

SORT是一个很粗糙的跟踪算法，所以又有了Deep SORT

# Deep SORT - SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC #

*  论文: [https://][https 1][arxiv.org/pdf/1703.07402.pdf][https 1]
 *  代码: [https://][https 2][github.com/nwojke/deep\_sort][https 2]

## 关联度量(ASSOCIATION METRIC) ##

*  计算公式(1) ![20190101201037323.jpg][]
 *  马氏距离计算物体检测Bbox **d****j**和物体跟踪BBox **y****i**之间的距离
 *  注：不使用欧式距离的原因是**d****j**和**y****i** 的空间域分布不同，欧式距离忽略空间域分布的计算结果不能准确反映两者的真实距离
 *  当两者距离≤特定阈值，则表示两者关联 ![20190101201133819.jpg][]
 *  但马氏距离依然不能很好的解决物体被长时间遮挡后关联不正确导致ID Switch的问题
 *  计算公式（2）![20190101201255437.jpg][]
 *  物体检测BBox **d****j** 通过CNN网络计算对应的128维feature向量**r****j** 称为appearance descriptor
 *  具体的做法是把物体检测BBox **d****j**  对应的图像patch作为下图的CNN输入，输出128维feature向量**r****j**

![20190101201517853.jpg][] Deep Cosine Metric Learning for Person Re-identification

* 对于跟踪器i，为它创建一个集合![20190101201357203.jpg][]保留它过去**L****k** 次成功跟踪后物体检测Bbox对应的Lk 个Feature向量集合，公式（2）是在计算第i个物体跟踪的所有Feature向量和第j个物体检测之间的最小余弦距离（具体含义参考下图）
 * 当两者距离≤特定阈值，则表示两者关联 ![20190101201433984.jpg][]
 
 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 10][] 公式(2)的几何解释
 
 •组合计算公式（1）和（2）作为计算第i个物体跟踪和第j个物体检测之间关联度量的总公式<img alt="" class="has" height="42" src="https://img-blog.csdnimg.cn/20190101201857219.jpg" width="391">
 
 •组合距离阈值判断不等式，作为总的判断第i个物体跟踪和第j个物体检测之间的距离（关联度量）是否关联的总公式<img alt="" class="has" height="83" src="https://img-blog.csdnimg.cn/20190101201925745.jpg" width="211">
 </li>
 <li>
 <h2 id="%E5%85%B3%E8%81%94%E7%AE%97%E6%B3%95%20Matching%20Cascade"><a name="t6"></a><a name="t6"></a>关联算法 Matching Cascade</h2>
 </li>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 11][]

T是物体跟踪集合

D是物体检测集合

1.  C矩阵存放所有物体跟踪i与物体检测j之间距离的计算结果
2.  B矩阵存放所有物体跟踪i与物体检测j之间是否关联的判断(0/1)
3.  关联集合M初始化为\{\}
4.  将找不到匹配的物体检测集合初始化为D
5.  从刚刚匹配成功的跟踪器循环遍历到最多已经有Amax 次没有匹配的跟踪器
6.  选择满足条件的跟踪器集合Tn
7.  根据最小成本算法计算出Tn与物体检测j关联成功产生集合\[xi,j\]
8.  更新M为匹配成功的（物体跟踪i，物体检测j） 集合
9.  从U中去除已经匹配成功的物体检测j
10. 循环
11. 返回 M U 两个集合

[https]: https://github.com/abewley/sort
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70]: /images/20230521/50ff4f6eb1a04f42a9a746d6d57c3563.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 1]: /images/20230521/2e45f5cc34004bf7b820d51047b10ba0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 2]: /images/20230521/4cfbbe24a5bd4dc59f3f7b1b658f351f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 3]: /images/20230521/31f677a071964dfd9168fa49f288ab41.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 4]: /images/20230521/595679dcf5674dc290c713e49737d67c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 5]: /images/20230521/5ece4ee0fdc342108de9baa75e966118.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 6]: /images/20230521/28a572cee7bd4dee8e8e043dbd41293a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 7]: /images/20230521/a2135e70096442d99b4fe09852ca0ea6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 8]: /images/20230521/008a60c111494d25959d65652675ba8b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 9]: /images/20230521/e251fe95c42d4f4e8a932cc93525016c.png
[https 1]: https://arxiv.org/pdf/1703.07402.pdf
[https 2]: https://github.com/nwojke/deep_sort
[20190101201037323.jpg]: /images/20230521/c7009bea8b8c4593a1c158426a1dc3d5.png
[20190101201133819.jpg]: /images/20230521/0d54000b975a498e9cbe0b94bc45c714.png
[20190101201255437.jpg]: /images/20230521/b169f589ff064ee78ac009adf6f3cb21.png
[20190101201517853.jpg]: /images/20230521/619bb83a5b6344dbbffa1a9f498cb65c.png
[20190101201357203.jpg]: /images/20230521/09b65cf9962848889dd3798d9bcdddc2.png
[20190101201433984.jpg]: /images/20230521/6c3b8e1705c24af388b406f161cd1bb6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 10]: /images/20230521/9cedba115253441d8c2c3fcb26197fae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hhb0JCTnVhbk1N_size_16_color_FFFFFF_t_70 11]: /images/20230521/1122319c03b049b98694bb13ddf8174d.png