微小目标检测中基于相似距离的标签分配(arxiv2024)

论文题目

Similarity Distance-Based Label Assignment for Tiny Object Detection

1、简介

由于微小目标的大小和信息的缺乏，微小目标检测已成为计算机视觉中最具挑战性的任务之一。标签分配策略是影响目标检测精度的关键因素。虽然有一些针对微小物体的有效的标签分配策略，但它们大多侧重于降低对边界框的敏感性以增加阳性样本的数量，并且需要设置一些固定的超参数。然而，更多的阳性样本并不一定意味着更好的检测结果，事实上，过多的阳性样本可能会导致更多的假阳性。在本文中，我们引入了一种简单而有效的策略，称为相似距离(SimD)来评估边界框之间的相似度。该策略不仅考虑了位置和形状的相似性，而且自适应地学习了超参数，确保了它可以适应不同的数据集和数据集中不同的对象大小。我们的方法可以简单地应用于常见的基于锚点的检测器中，以代替标签分配和非最大抑制(NMS)的IoU。在四种主流微小目标检测数据集上的大量实验表明，我们的方法具有优越的性能，特别是在AI-TOD上，1.8 AP点和4.1 AP点都比目前最先进的竞争对手高得多。

本文的主要贡献如下：

?提出了一个简单而有效的策略，称为相似距离(SimD)来评估两个边界框之间的关系。它不仅考虑了位置和形状的相似性，而且可以有效地适应不同的数据集和数据集中不同的对象大小，而不需要设置任何超参数。大量的实验证明了方法的有效性。

?使用了几种通用的目标检测器，并简单地将基于iou的分配模块替换为基于SimD度量的方法，这样可以在四个主流的微小目标检测数据集上实现最先进的性能。

2、背景

1）在微小目标检测中存在三个主要挑战，首先，大多数目标检测器使用降采样进行特征提取，这将导致微小目标的大量信息丢失。其次，由于有效信息有限容易受到噪音的干扰。最后，对象越小，对边界框的变化越敏感。因此，如果使用传统的标签分配指标，如IoU、GIoU、DIoU和CIoU进行目标检测，那么对于微小目标获得的阳性样本数量将非常少。

2）标签分配策略在目标检测中起着重要的作用。根据每个标签是严格负的还是严格正的，这种策略可以分为硬标签分配策略和软标签分配策略。在软标签分配策略中，根据计算结果对不同的样本设置不同的权值，例如GFL、VFL、tood和DW。根据指定阳性和阴性样本的阈值是否固定，硬标签分配策略可以进一步分为静态和动态策略。静态标签分配策略包括基于IoU和DotD度量以及RFLA的策略。动态标签分配策略包括ATSS、PAA、OTA和DSLA。从另一个角度来看，标签分配策略可以分为基于预测的策略和无预测的策略。基于预测的方法根据真实值和预测边界框之间的关系为样本分配正/负标签，而无预测的方法仅根据锚点或其他现有信息分配标签。

3）尽管针对目标检测的标签分配策略有很多研究，但大多数此类策略都是针对常规数据集设计的，很少有专门针对微小目标设计的。当这些传统的标签分配策略直接用于微小目标检测时，其准确性会显著降低。迄今为止，专门为微小物体设计的标签分配策略和指标主要有S3FD、DotD、NWDRKA和RFLA。在S3FD中，首先降低阈值(从0.5降低到0.35)以获得更多的基础真值阳性样本，然后进一步降低到0.1，以获得第一次阈值降低未处理的基础真值的阳性样本。然而，S3FD也使用传统的IoU度量来计算地面真实值与锚点之间的相似性。为了克服IoU度量的缺点，引入了新的DotD公式，以降低对边界框尺寸的敏感性。基于这一度量，可以获得更多的正样本。在NWD-RKA中，引入归一化Wasserstein距离作为IoU的替代，并使用基于排序的策略将前k个样本分配为正。RFLA从感受野的角度探讨基础真值和锚值之间的关系，在此基础上，将基础真值和锚值建模为高斯分布。然后，根据Kullback-Leibler散度(KLD)计算这两个高斯分布之间的距离，KLD用于代替IoU度量。

3、方法

1)标签分配中最重要的步骤之一是计算反映不同边界框之间相似性的值。具体来说，对于基于锚点的标签分配策略，必须在分配标签之前量化锚点和基础事实之间的相似性。

2)常用的标签分配指标，如IoU、GIoU、DIoU和CIoU，通常基于锚点和地面真实值之间的重叠。这些指标有一个严重的问题，即如果重叠为零(这通常是微小对象的情况)，这些指标可能会失效。一些更合适的方法使用基于距离的评价指标，甚至使用高斯分布来模拟真值和锚点，如DotD、NWD和RFLA

3)在表1中，从三个角度对现有指标和本文的SimD指标进行了简单的比较。例如，DotD只考虑位置相似性，可能不适应数据集中不同的对象大小，因此不全面或不自适应。NWD和RFLA不具有适应性，因为它们分别需要设置一个超参数C和β。在现有方法的基础上，提出一种不带超参数的自适应方法SimD。

4）为了更好地反映不同边界框之间的相似性，本文引入了一种新的度量方法—相似距离(SimD)。相似距离定义如下:

m和n如下所示

SimD包括位置相似度(simlocation)和形状相似度(simshape)两部分。如图(2)所示，(xg, yg)和(xa, ya)分别表示地真点与锚点的中心坐标，wg, wa, hg, ha表示真值点与锚点的宽度和高度，公式的主要部分是真值点与锚点的中心点之间的距离，类似于DotD公式。不同的是，SimD使用两个边界框的宽度和高度乘以相应的参数来消除不同大小的边界框之间的差异，这个过程类似于规范化的概念。这也是为什么SimD度量可以很容易地适应数据集中不同对象大小的原因。

5）以式(4)中的参数m为例进行进一步讨论，m是整个训练集合中每个图像中所有ground truth和anchor的x方向距离与两个宽度之和的平均比值。M表示训练集中图像的数量，Ni和Qi分别表示第i张图像中ground truth和anchor的数量。Xi j和xik分别表示第i张图像中第j个ground truth和第k个anchor的中心点的x坐标。Wi j和wik分别表示第i张图像中第j个ground truth和第k个anchor的宽度。由于两个归一化参数是基于训练集计算的，因此SimD度量也可以自动适应不同的数据集。为了方便标签分配，使用指数函数将SimD的值缩放到0到1之间的范围。如果两个边界框相同，则根号下方的值将为零，因此SimD将等于1。如果两个边界框差异很大，则该值将非常大，因此SimD将接近于零。

6）SimD度量可以很好地反映两个边界框之间的关系，并且易于计算。因此，在需要计算两个边界框之间的相似性的场景中，可以使用它来代替IoU。对于微小目标检测，引入了RKA和HLA标签分配策略，它们不使用固定阈值来划分阳性和阴性样本。在RKA中，与真值相关的top-k锚点被简单地选择为正样本，这种策略可以增加正样本的数量，因为正标签的分配不受正阈值的限制。然而，引入过多的低质量阳性样品可能会导致检测精度下降。在本文中，遵循传统的MaxIoUAssigner策略，并简单地使用SimD代替IoU。正阈值设置为0.7，负阈值设置为0.3，正最小阈值设置为0.3。标签分配策略命名为MaxSimDAssigner。

7）SimD-based NMS。非最大抑制(NMS)是后处理的重要组成部分之一，其目的是通过仅保留最佳检测结果来消除重复检测的预测边界框。在传统的程序中，首先计算得分最高的边界框与所有其他边界框之间的白条。然后，IoU高于某个阈值的边界框将被消除。考虑到SimD的优点，可以简单地将其作为NMS的度量来代替传统的IoU度量。

4、实验

1）和其他方法在AI-TOD的比较

2）AI-TODV2数据集的比较

3）VISDRONE2019和SODA-D数据集上的比较

4）方法中一个重要的操作是基于真值和锚点的宽度和高度的归一化。为了验证归一化操作的有效性，进行了消融研究。如表六所示，分别比较了不归一化、只归一化宽度、只归一化高度和同时归一化宽度和高度。实验结果表明，归一化操作提高了3.5分，主要得益于对数据集中不同大小对象的适应能力，且归一化参数m, n可以根据不同的数据集自适应调整。

5）结果的可视化