论文赏析|CVPR 2024 | 主动域自适应目标检测首篇!

论文题目：《Active Domain Adaptation with False Negative Prediction for Object Detection》

作者：Yuzuru Nakamura · Yasunori Ishii · Yasunori Ishii

作者单位：松下控股公司，日本中部大学

论文地址：https://cvpr.thecvf.com/virtual/2024/poster/30672

亮点（摘要）

本文的亮点在于提出了一种创新的主动域适应（Active Domain Adaptation，ADA）方法，专门针对目标检测任务中假阴性（False Negative, FN）错误的减少。在目标检测领域，模型需要适应各种不同的场景，如不同的光照条件和传感器特性，这些因素都会导致模型性能的显著差异。传统的无监督域适应（UDA）方法虽然能够在一定程度上减少标注成本，但与全监督学习相比，性能仍有较大差距。本文的方法通过主动学习策略，有效地整合了不确定性和不可检测性，以实现更准确的样本选择和模型训练。文章的核心贡献在于引入了False Negative Prediction Module（FNPM），这是一个新颖的模块，能够评估图像中未检测到对象的不可检测性，从而在主动采样过程中考虑到这些之前被忽视的对象。FNPM通过预测图像中False Negative（FN）错误的数量，帮助模型更加关注那些含有大量未检测对象的图像，从而减少FN错误，提高模型的鲁棒性。此外，本文还采用了不确定性引导的伪标记方法，进一步增强了域适应的效果。

在实验部分，作者通过广泛的实验验证了所提方法的有效性。与全监督学习相比，本文方法在只需要极少量的标注工作的情况下，就能达到接近全监督学习的性能。这一成果在减少标注成本和提高模型部署效率方面具有重要意义。特别是在车载相机等实际应用场景中，这种域适应技术能够显著提高目标检测的准确性和可靠性。

主要的创新点在于其ADA方法应用于目标检测领域，特别是FNPM的引入，这不仅解决了目标检测中的一个关键问题，也为域适应领域的研究提供了新的思路和工具。通过在有限的标注预算下实现高性能的目标检测，本文的方法为实际应用中的模型部署和优化提供了一个有效的解决方案。

主动域自适应目标检测的详细定义

本文解决的问题是在目标检测任务中，如何有效地进行域适应以减少因域偏移导致的假阴性（False Negative, FN）错误。在不同的场景下，如照明条件和传感器等条件的不同，模型需要适应不同的外观。域适应（DA）技术允许模型适应这些不同的场景。然而，现有的主动学习（Active Learning, AL）方法在域偏移下选择样本时，未能充分考虑未检测到的对象，导致性能提升有限。

常规不确定度的概念图和本文提出的用于采集函数的不可检测性度量区别如图1所示。不确定性仅从预测的边界框（用蓝色矩形表示）估计。相比之下，不可检测性是通过检测模型无法预测的假阴性（FN）误差来估计的（用红色虚线矩形表示）。本文提出的方法利用不确定性和不可检测性，实现了更明智的主动采样。

图1 不可检测性与常规不确定度

算法细节

图2 算法框架图

本文提出的算法细节涉及一个针对目标检测任务的主动域适应（ADA）框架，该框架通过整合不确定性和不可检测性来提高模型在目标域的性能。整个算法流程包括初始化模型、基于FNPM的主动采样、以及半监督域适应训练。这个过程迭代进行，直到达到预定的迭代次数或性能收敛。在每次迭代中，首先冻结检测模型的参数并训练FNPM，然后使用采集函数选择样本，接着对选定样本进行标注并更新标记的目标域数据集，最后解冻检测模型参数并进行半监督训练。算法框架图如图2所示。以下是该算法的详细步骤：

1. 模型初始化。首先，使用源域数据集DS和目标域数据集DT?（包括标记和未标记数据）进行无监督域适应（UDA）训练。这一步骤的目的是使模型能够适应目标域的特征分布。具体来说，使用对抗学习（Adversarial Learning）和梯度反转层（Gradient Reversal Layer, GRL）以及域判别器来对齐源域和目标域的特征空间。模型的参数通过最小化监督损失Lsup?和对抗损失Ladv?来进行更新。

2. FNPM是本文的核心贡献之一，它预测图像中未检测到的对象数量，即假阴性错误。FNPM接收检测模型的背景特征图，并通过全局平均池化（GAP）和全连接（FC）层来输出假阴性错误的预测数量。FNPM的训练目标是最小化预测的假阴性错误数量与实际假阴性错误数量之间的差异。FNPM模块如图3所示。

图3 假阴性预测模块

3. 不确定性估计与MCDropout。为了估计模型在检测到对象时的不确定性，本文采用了蒙特卡洛 Dropout（MCDropout）方法。这种方法将模型参数视为概率分布，并通过多次前向传播来量化预测的方差。在检测头中加入MCDropout层，可以得到预测框坐标和类别概率的均值和方差，其中方差被用作定位不确定性的度量。

4. 采集函数是ADA方法中的关键。它结合了不可检测性、定位不确定性、分类不确定性和多样性四个度量指标。不可检测性通过FNPM来估计，定位不确定性通过MCDropout得到的预测方差来量化，分类不确定性使用类别概率的熵来估计，多样性则通过域判别器来估计样本是否代表目标域的分布。这四个度量指标被标准化并结合起来，形成最终的采集分数，用于选择最具信息量的样本进行标注和训练。

5. 在半监督域适应阶段，结合了标记的源域数据、标记的目标域数据以及未标记的目标域数据进行训练。使用不确定性引导的伪标记来提高未标记数据的训练效果。目标损失函数包括源域的监督损失、标记目标域的监督损失、未标记目标域的无监督损失以及对抗损失。此外，还采用了指数移动平均（EMA）来更新教师模型的参数。

实验

基准数据集的性能

实验在四个域适应场景中使用了五个数据集进行评估，包括Cityscapes (C)、Foggy Cityscapes (F)、BDD100k (B)、SIM10k (S)和KITTI (K)。这些数据集涵盖了从清晰天气到雾天、从白天到夜晚以及从真实场景到合成场景的多种条件。在这些场景中，本文的方法与现有的无监督域适应（UDA）和主动域适应（ADA）方法进行了比较。结果表明，即使在只有1%的标记预算下，本文提出的方法在大多数情况下也超过了现有的UDA方法。特别是在从KITTI到Cityscapes的场景中，性能提高了10多个百分点，仅使用了1%的标记预算。此外，当标记预算增加到5%时，本文的方法几乎达到了与全监督学习（Oracle）相同的性能，准确度差异比为98%。这些结果证明了本文方法在减少标记成本的同时，能够接近全监督学习的性能。

图4 实验结果图

消融实验

实验考察了对抗学习（AD）、伪标记（PL）、均值教师（MT）、不确定性感知的伪标记（UP）和强增强（SA）等组件的影响。在Cityscapes到Foggy Cityscapes和KITTI到Cityscapes的场景中，强增强（SA）是提升性能的最有效组件。这表明在这些场景中，特征级别的域对齐非常有效。在KITTI到Cityscapes的场景中，伪标记（PL）、均值教师（MT）和不确定性感知的伪标记（UP）依次对性能提升贡献最大，这表明在这种场景下，伪标记的预测准确性至关重要。这些发现表明，不同组件在不同的域适应场景中发挥了不同的作用，而本文的方法能够有效地整合这些组件以提高性能。

图5 消融实验

不同主动采样策略性能对比

图6 主动采样策略对比

为了进一步验证所提出方法的有效性，本文还与其他主动采样策略进行了比较，包括随机采样、MeanEntropy、CoreSet、ActiveTeacher和AADA。在Cityscapes到BDD100k的场景中，本文的策略在几乎所有预算下都优于先前的策略。特别是在预算低于或等于1%时，与AADA相比，性能提升了2.5个百分点。这一结果表明，在低预算条件下，本文的不可检测性度量（）能够有效地选择减少FN错误的样本，而先前策略未能选择这些样本。此外，当将不可检测性度量（）整合到先前的策略中时，MeanEntropy在低预算时的准确性得到了提高，这表明在高预算下需要采样目标以降低类别概率，从而导致FN错误。这些比较结果进一步证明了本文方法在不同预算条件下的有效性和优越性。

总结

1. 本文提出了一个针对目标检测领域的问题——如何通过主动学习提高模型的自适应能力，特别是在域偏移的情况下减少假阴性错误。为此，我们提出了一种新颖的主动域适应（ADA）方法，特别设计了False Negative Prediction Module（FNPM），并采用了整合不确定性和不可检测性的策略来解决这一挑战。通过引入FNPM，我们的方法能够预测并关注那些含有大量未检测对象的图像，实现了对目标检测性能的显著提升。

2. 设计了一种新颖的采集函数，通过不确定性估计和FNPM的预测，不仅利用了模型的不确定性，还考虑了未检测对象的不可检测性，从而在主动采样过程中更全面地优化模型性能。

3. 通过在多个数据集上的实验，验证了该方法的有效性。在只有1%的标记预算下，就能在大多数情况下超过现有的无监督域适应方法，并且在使用5%的标记预算时，性能接近全监督学习。

感谢阅读！如果觉得本文有帮助，请为我们点个☆吧~

论文地址：https://cvpr.thecvf.com/virtual/2024/poster/30672

Github地址：暂无