当CV碰上无人机:ICCV 2019 VisDrone挑战赛冠军解决方案解读

机器之心发布

作者：罗志鹏

近日，在 ICCV 2019 Workshop 举办的 Vision Meets Drone: A Challenge(简称:VisDrone2019) 挑战赛公布了最终结果，来自深兰科技北京 AI 研发中心的 DeepBlueAI 团队斩获了「视频目标检测」和「多目标追踪」两项冠军。我们可以通过这篇文章来了解一下 DeepBlueAI 团队的解决方案。

The VisDrone2019 挑战赛

如今，配备摄像头的无人机或通用无人机已经广泛地应用在农业、航空摄影、快速交付、监视等多个领域。

挑战赛官网地址：http://aiskyeye.com/

VisDrone2019 数据集由天津大学机器学习与数据挖掘实验室 AISKYEYE 队伍负责收集，全部基准数据集由无人机捕获，包括 288 个视频片段，总共包括 261908 帧和 10209 个静态图像。

这些帧由 260 多万个常用目标（如行人、汽车、自行车和三轮车）的手动标注框组成。为了让参赛队伍能够更有效地利用数据，数据集还提供了场景可见性、对象类别和遮挡等重要属性。

本届挑战赛包含四个任务：

• 任务 1：图像中的目标检测。任务旨在从无人机拍摄的单个图像中检测预定义类别的对象（例如，汽车和行人）；
• 任务 2：视频中的目标检测。该任务与任务 1 相似，不同之处在于需要从视频中检测对象；
• 任务 3：单目标跟踪挑战。任务旨在估计后续视频帧中第一个帧中指示的目标状态；
• 任务 4：多目标跟踪挑战。该任务旨在恢复每个视频帧中对象的轨迹。

数据集下载链接：https://github.com/VisDrone/VisDrone-Dataset

这次比赛的难点主要有：

1. 大量的检测物体

与常规检测数据集不同的是，每张图片包含上百个待检测物体，数据集总共含有 260 万个标注框，如果使用占用显存较大的模型，可能会出现资源不够的情况。同时面对一些重叠的结果时，我们需要选择合适的阈值去过滤出最好的结果。

2. 部分目标过小

因为数据集是由无人机拍摄而来，行人和远景的物体的标注框就非常小，这对模型产生 anchor 的能力形成了一定的挑战，高分辨率的空间信息和高质量的 proposal 在本次赛题中就显得尤为重要。

3. 不同的数据分布

常用的数据集如：COCO 数据集、OBJ365 都是广泛应用的数据集，所以大家经常用它们的预训练来 fine-tune 其他数据集。而这一次的数据集由于拍摄角度问题，预训练所带来的效果不如预期。

评测指标

为了进行综合评估并反映每个对象类别的性能，本次测评采用类似于 MS COCO 数据集的评估方案，使用 AP, APIOU=0.50, APIOU=0.75, ARmax=1, ARmax=10, ARmax=100, 和 ARmax=500，且这些指标是基于 10 个对象类别计算出来的。

最终，来自电子科技大学的李宏亮团队获得了 Task1「图像中的目标检测」的冠军；中科院信息工程研究所的葛仕明团队获得了 Task3「单目标跟踪挑战」的冠军；来自深兰科技北京 AI 研发中心的 DeepBlueAI 团队获得了 Task2「视频目标检测」和 Task4「多目标追踪」两项冠军。以下是 DeepBlueAI 团队分享的解决方案

任务 2：视频中的目标检测

检测器：Cascade RCNN + DCN + FPN + DH

团队基于现有数据集，并结合以往检测经验，打造了一个强大的目标检测器。

1. Cascade RCNN

用低 IoU 阈值进?训练会导致效果不好，因为会产?很多噪声框；所以我们希望阈值尽量?，但 IoU 阀值设过?时，训练出的 detector 效果却会呈现下降趋势。Cascade RCNN 将多个阈值越来越?的 detector 串联，得到了更好的效果。

?先，在每次 detector 计算后，IoU?的 bbox 的分布都会提升，使得下?阶段更?阈值下正样本的数量得到保证；其次，每经过?次 detector 计算，bbox 都会变得更准确，更?的阈值可保证下?次回归效果更好。

2. DCN(Deformable Convolution Network)

deformable convolution network 提出了「deformable convolution」和「deformable RoI pooling」两种网络结构单元，deformable convolution 和 deformable RoI pooling 都是基于通过学习一个额外的偏移（offset），使卷积核对输入 feature map 的采样产生偏移，集中于感兴趣的目标区域, 从而产生更好的感受野。

3. Double Heads

通过对比实验可发现：用 fc-head 去做分类，同时用 conv-head 去做回归，可以实现最好的效果。因为分类更多的需要语义信息，而回归坐标框需要更多的空间信息，这种方法采用「分而治之」的思想，针对不同的需求设计 head 结构，当然这种方法增加了计算量，在平衡速度和准确率的情况下，最后选择了 3 残差、2non-local，共 5 个模块。

实验细节：

1. 我们将 Faster rcnn + DCN + FPN 作为我们的 baseline，因为这两个模块总是能在不同的数据集上起到效果。2. 将原有 head 改为 Double head3. 采用级联检测 (Cascade rcnn)4. 将 ResNeXt101 作为 backbone5. 使用 cascade rcnn COCO-Pretrained weight6. 多尺度训练+Testing tricks

实验结果 (验证集)

任务 4 : 多目标跟踪

跟踪算法：IOU tracker + KCF + tracklet vote

根据赛题描述与数据集分析结果，我们可以知道，如果图中有大量目标且大部分都为小目标，在这种情况下仍然使用 reid 相关跟踪算法的话，不仅最终效果不理想，而且也会在匹配排序的过程中耗费大量的资源，所以我们最终决定使用 iou-tracker。

原因：

1. 使用不需要图片信息，仅根据检测结果的相邻帧的 iou 进行计算；
2. iou-tracker 对检测结果有着较高的要求，我们对自己的检测结果有信心；
3. 运行速度极快，不涉及到神经网络，节省时间和 GPU 资源。

MOT Pipeline:

难点：使用 iou tracker 之后，还是会不可避免地遇到断帧 (一条轨迹无法全部预测，被预测为多个子段) 的问题，这样会大大降低最后的得分，所以我们使用 KCF 对现有结果进行一个更新。

KCF 的原理极为复杂，但 KCF 作用就是根据现有结果使用传统算法，去预测之后几帧的结果，这相当于对一些丢失的信息进行补充的操作。

得到新的轨迹之后再使用 IOU 相关投票融合方法，将更新后的结果融合，融合过程如图所示：

KCF 更新轨迹之后，正常情况下轨迹之间就会有相互重叠的地方，我们使用一个基于 IOU 的投票方法，如果轨迹之间重叠部分的投票结果大于某个阈值，就将这两个轨迹进行融合。

实验细节：

1. 我们将任务二中的检测结果当做输入，先使用 GOG 方法作为我们的 baseline2. 将方法改为 IOU tracker3. 调整阈值，以及一些测试技巧4.+KCF +tracklet voting5. 得到更好的检测结果

实验结果 (验证集)

实验数据。

下一步工作

在检测方面，在网络结构上有一些其他可以使用的模块，例如「PAFPN--FPN 的改进版」，可以在特征提取之后更好地处理各层级之间的信息；以及「GCnet」，一种结合了两个不错的 attention 机制所得到的网络，等等。

由于时间的限制，在更新原有跟踪结果的时候，我们使用的是比较传统的 KCF 算法，这类算法比较节省时间，但同时也有很大的局限性。如果有机会，以后想尝试一些更好的、基于神经网络的方法进行更新。

参考文献

[1]Lin T Y , Dollár, Piotr, Girshick R , et al. Feature Pyramid Networks for Object Detection[J]. 2016.[2]Dai J, Qi H, Xiong Y, et al. Deformable Convolutional Networks[J]. 2017.[3]Cai Z , Vasconcelos N . Cascade R-CNN: Delving into High Quality Object Detection[J]. 2017.[4]Xie S , Girshick R , Dollar P , et al. Aggregated Residual Transformations for Deep Neural Networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2017.[5]Bochinski E , Eiselein V , Sikora T . High-Speed tracking-by-detection without using image information[C]// 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). IEEE, 2017.[6]Henriques J F , Caseiro R , Martins P , et al. High-Speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3):583-596.