利用TRansformer进行端到端的目标检测及跟踪(附源代码)

多目标跟踪(MOT)任务的关键挑战是跟踪目标下的时间建模。现存的用检测跟踪的方法采用简单的heuristics，如空间或外观相似性。这些方法，尽管其共性，但过于简单，不足以建模复杂的变化，如通过遮挡跟踪。所以现有的方法缺乏从数据中学习时间变化的能力。

在今天分享中，研究者提出了第一个完全端到端多目标跟踪框架MOTR。它学习了模拟目标的长距离时间变化。它隐式地执行时间关联，并避免了以前的显式启发式方法。MOTR建立在TRansformer和DETR之上，引入了“跟踪查询”的概念。每个跟踪查询都会模拟一个目标的整个跟踪。逐帧传输和更新，以无缝地执行目标检测和跟踪。提出了时间聚合网络（Temporal aggregation network）结合多框架训练来建模长期时间关系。实验结果表明，MOTR达到了最先进的性能。

多目标跟踪(MOT)是一种视觉目标检测，其任务不仅是定位每一帧中的所有目标，而且还可以预测这些目标在整个视频序列中的运动轨迹。这个问题具有挑战性，因为每一帧中的目标可能会在pool environment中被遮挡，而开发的跟踪器可能会受到长期和低速率跟踪的影响。这些复杂而多样的跟踪方案在设计MOT解决方案时带来了重大挑战。

对于基于IoU的方法，计算从两个相邻帧检测到的检测框的IoU矩阵，重叠高于给定阈值的边界框与相同的身份相关联(见上图(a))。类似地，基于Re-ID的方法计算相邻帧的特征相似性，并将目标对与高相似性相关起来。此外，最近的一些工作还尝试了目标检测和重识别特征学习的联合训练(见上图(b))。

由于DETR的巨大成功，这项工作将“目标查询”的概念扩展到目标跟踪模型，在新框架中被称为跟踪查询。每个跟踪查询都负责预测一个目标的整个跟踪。如上图(c)，与分类和框回归分支并行，MOTR预测每一帧的跟踪查询集。

最近，DETR通过采用TRansformer成功地进行了目标检测。在DETR中，目标查询，一个固定数量的学习位置嵌入，表示一些可能的实例的建议。一个目标查询只对应于一个使用bipartite matching的对象。考虑到DETR中存在的高复杂性和慢收敛问题，Deformable DETR用多尺度deformable attention取代了self-attention。为了展示目标查询如何通过解码器与特征交互，研究者重新制定了Deformable DETR的解码器。

在MOTR中，研究者引入了跟踪查询和连续查询传递，以完全端到端的方式执行跟踪预测。进一步提出了时间聚合网络来增强多帧的时间信息。

DETR中引入的目标（检测）查询不负责对特定目标的预测。因此，一个目标查询可以随着输入图像的变化而预测不同的目标。当在MOT数据集的示例上使用DETR检测器时，如上图(a)，相同检测查询（绿色目标查询）预测两个不同帧预测两个不同的目标。因此，很难通过目标查询的身份来将检测预测作为跟踪值联系起来。作为一种补救措施，研究者将目标查询扩展到目标跟踪模型，即跟踪查询。在新的设计中，每个轨迹查询都负责预测一个目标的整个轨迹。一旦跟踪查询与帧中的一个目标匹配，它总是预测目标，直到目标消失（见上图(b))。

Overall architecture of the proposed MOTR

Query Interaction Module

在训练阶段，可以基于对bipartite matching的GTs的监督来实现跟踪查询的学习。而对于推断，研究者使用预测的轨迹分数来确定轨道何时出现和消失。

我们详细描述下MOTR的训练过程。给定一个视频序列作为输入，训练损失，即track loss，是逐帧计算和逐帧生成的预测。总track loss是由训练样本上的所有GT的数量归一化的所有帧的track loss的总和：

单帧图像Lt的track loss可表示为：

Implementation Details

All the experiments are conducted on PyTorch with 8 Tesla V100 GPUs. We use the Deformable-DETR with ResNet50 as our basic network. The basic network is pretrained on the COCO detection dataset. We train our model with the AdamW optimizer for total 200 epochs with the initial learning rate of 2.0 · 10?4. The learning rate decays to 2.0 · 10?5 at 150 epochs. The batch size is set to 1 and each batch contains 5 frames.

The effect of multi-frame continuous query passing on solving ID switch problem. When the length of video sequence is set to two (top), the objects that are occluded will miss and switch the identity. When improving the video sequence length from two to five (bottom), the track will not occur the ID switch problem with the help of enhanced temporal relation.