【目标跟踪】一图看懂DeepSORT大流程

悠悠 2023-10-01 16:46 25阅读 0赞

**目录**

系列文章

简介

DeepSORT流程图

名词解释

整体流程

重点节点解释

--------------------

## 系列文章 ##

[【目标跟踪】卡尔曼滤波器(Kalman Filter) 含源码][Kalman Filter_]

[【目标跟踪】一图看懂DeepSORT大流程][DeepSORT]

[【目标跟踪】pytorch YOLOV5 YOLOFastestv2 DeepSORT][pytorch YOLOV5 YOLOFastestv2 DeepSORT]

## 简介 ##

多目标跟踪，在DeepSORT提出之前是SORT算法（[SORT论文链接][SORT]）,但是它对身份变换的问题，仅仅采取框和框之间距离的匹配方式，没有考虑框内的内容，所以容易发生ID-switch，不过这个问题已经在2017年的论文中进行了解决,即我们今天要介绍的[ DeepSORT][DeepSORT 1]。

本文前提是需要对卡尔曼滤波器比较了解，如果不了解建议跳转：[【五分钟会，半小时懂】卡尔曼滤波器(Kalman Filter)—目标跟踪（含源码）\_xian0710830114的专栏-CSDN博客\_连续卡尔曼滤波卡尔曼滤波器在目标跟踪中的使用![favicon32.ico][]https://blog.csdn.net/xian0710830114/article/details/122304509?spm=1001.2014.3001.5501][Kalman Filter_xian0710830114_-CSDN_favicon32.ico_https_blog.csdn.net_xian0710830114_article_details_122304509_spm_1001.2014.3001.5501]

## DeepSORT流程图 ##

![watermark,type\_d3F5LXplbmhlaQ,shadow\_50,text\_Q1NETiBA5bCP5q6K5bCP5q6K,size\_20,color\_FFFFFF,t\_70,g\_se,x\_16][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5bCP5q6K5bCP5q6K_size_20_color_FFFFFF_t_70_g_se_x_16]

## 名词解释 ##

**Detections：**目标检测器得出的结果，有bboxs和分类、置信度。  
 **Tracks：**在整个跟踪流程中用于流转的一个对象，有这些重要属性：  
mean：八个值的均值，这八个值是center\_x，center\_y，aspect\_ratio，h，v\_center\_x，v\_center\_y，v\_aspect\_ratio，v\_h  
covariance:协方差矩阵  
track\_id：跟踪目标的id  
n\_init：在track状态被设置为“Deleted”之前，连续错过的最大次数。  
max\_age：最大寿命，一个跟踪目标出现max\_age次，会被删除。  
feature：bbox中改对象的特征向量，每次update时这个list会增加一个元素。  
hits：观测更新的总次数。  
age：自第一次出现以来的总帧数。  
time\_since\_update：自上次测量更新以来的总帧数。  
state：1-Tentative创建的Track标为暂定 2-Confirmed已经确认过 3-Deleted  
 **Unmatched Detections**：未匹配的Detections  
 **Unmatched Tracks**：未匹配的Tracks  
 **Matched Tracks**：已匹配的Tracks，匹配次数在3以下的是未确认状态-Unconfirmed，匹配超过3次变成已确认状态-Confirmed。  
 **Confirmed**:已经确认匹配的Tracks。  
**Unconfirmed**:未确认匹配的的Tracks。

## 整体流程 ##

**步骤1-预测状态:**  
上一轮迭代产生的Tracks经过卡尔曼滤波的预测，计算出本轮的mean和covariance，数据的状态（Confirmed和Unconfirmed）是不变的。路径①②  
**步骤2-第一次匹配:**  
将步骤1中的Tracks和本轮目标检测器检测出Detections一起送入Cascade进行匹配，产生三种状态的结果Unmatched Tracks,Unmatched Detections,Matched Tracks。路径③④  
**步骤3-第二次匹配:**  
但是步骤2的检测会有遗漏，将其与步骤1中未确定的Tracks合并，用IOU Match再匹配一遍得出比较靠谱的Unmatched Tracks,Unmatched Detections,Matched Tracks。路径⑤⑥  
**步骤4-处理失效对象:**   
未匹配的Tracks中还没确认的(Unconfirmed)和已确认(Confirmed)但是age超过阈值的state设为Delete。路径⑦⑧⑨⑩  
**步骤5-输出结果并为下一轮准备数据，其中合并了下面三个来源的Tracks:**  
(1)步骤3和步骤4中的已匹配的Tracks合并，进行卡尔曼滤波的update，同时age+1，输出Tracks。路径⑪⑫⑬  
(2)步骤3中的未匹配的Detections新建出Tracks。⑭  
(3)步骤4中已确认而且未超龄的Track⑮  
这三个来源的Tracks合在一起作为本轮的输出同时也是下一次迭代的输入，继续步骤1。

## 重点节点解释 ##

**【1】KF预测**   
1.执行KF.predict,计算mean和covariance  
2.寿命age+=1  
3.time\_since\_update+=1，这个值执行KF.predict时+1，执行KF.update时设置成0  
4.上一轮迭代传过来的Confirmed和Unconfirmed状态不变，Confirmed已经确定是被跟踪对象的送入【1】去跟新的Detections去匹配，没确认的Unconfirmed送入【3】去做IOU匹配。

**【2】Cascade匹配，匹配tracks和detections**  
1.循环迭代max\_age次，直到没有Unmatched Detections  
2.利用每个bbox的特征向量计算cos距离  
3.匈牙利算法做匹配，会得到三种结果unmatched\_detections unmatched\_tracks matched\_tracks

**【3】IOU匹配**  
IOU匹配沿用了SORT的做法，是将Cascade匹配中的判断距离的算法变成了IOU。  
在Cascade匹配后加一个IOU匹配在为了处理剩下的没有匹配的Detections和Tracks，Cascade匹配可能发生漏检，某时刻，预测的轨迹tracks还在，但是检测器没有检测到与之对应的目标。  
为什么会有detection匹配失败的情况呢？  
可能某一时刻有一个物体是新进入的镜头（比如，之前一直只有三个物体，某时刻突然镜头中出现了第四个新物体），就会发生detection匹配不到tracks的情况，因为这个物体是新来的，在这之前并没有它的轨迹用于预测；还有一种情况就是物体长时间被遮挡，导致检测到的物体没有可以与之匹配的轨迹。  
针对上述匹配失败问题，处理方法就是对匹配失败的tracks和匹配失败的detection进行IOU匹配。如果能匹配成功，则再进行更新，然后继续进行预测–观测–更新的追踪流程。

**【5】KF Update**  
1.执行kf.update  
2.将特征向量存入feature  
3.hits += 1  
4.time\_since\_update = 0  
5.if hits>3:state=Confirmed

[Kalman Filter_]: https://blog.csdn.net/xian0710830114/article/details/122304509
[DeepSORT]: https://blog.csdn.net/xian0710830114/article/details/122730160
[pytorch YOLOV5 YOLOFastestv2 DeepSORT]: https://blog.csdn.net/xian0710830114/article/details/127586654
[SORT]: https://arxiv.org/pdf/1602.00763.pdf
[DeepSORT 1]: https://arxiv.org/pdf/1703.07402.pdf
[favicon32.ico]: https://g.csdnimg.cn/static/logo/favicon32.ico
[Kalman Filter_xian0710830114_-CSDN_favicon32.ico_https_blog.csdn.net_xian0710830114_article_details_122304509_spm_1001.2014.3001.5501]: https://blog.csdn.net/xian0710830114/article/details/122304509?spm=1001.2014.3001.5501
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5bCP5q6K5bCP5q6K_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/ef05b4ad6f074aedb3dfb22bb921dab1.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5bCP5q6K5bCP5q6K,size_20,color_FFFFFF,t_70,g_se,x_16