图像自适应YOLO:恶劣天气下的目标检测(附源代码)

公众号ID｜ComputerVisionGzq

论文获取｜回复“IAYOLO”获取paper

基于CNN的方法已在目标检测中盛行。它们不仅在基准数据集上取得了可喜的性能，而且还被部署在自动驾驶等实际应用中。由于输入图像的域偏移，由高质量图像训练的一般目标检测模型在恶劣的天气条件下（例如，有雾和暗光）往往无法获得令人满意的结果。Narasimhan和Nayar以及You等人提出在恶劣天气下拍摄的图像可以分解为干净的图像及其对应的天气信息，而恶劣天气下的图像质量下降主要是由于天气信息和物体之间的相互作用造成的，这导致检测性能差。

上图显示了雾天条件下目标检测的示例。可以看出，如果图像可以根据天气状况进行适当的增强，则可以恢复更多有关原始模糊目标和错误识别目标的潜在信息。

为了解决这个具有挑战性的问题，Huang、Le和Jaw（DSNet: Joint semantic learning for object detection in inclement weather conditions）采用了两个子网络来联合学习可见性增强和目标检测，其中通过共享特征提取层来减少图像退化的影响。然而，在训练期间很难调整参数以平衡检测和恢复之间的权重。另一种方法是通过使用图像去雾（Multi-Scale Boosted Dehazing Network with Dense Feature Fusion；GridDehazeNet: Attention-Based Multi-Scale Network for Image Dehazing）和图像增强（Zero-reference deep curve estimation for low-light image enhancement）等现有方法对图像进行预处理来淡化天气特定信息的影响。然而，这些方法必须包含复杂的图像恢复网络，需要在像素级监督下单独训练。这需要手动标记要恢复的图像。这个问题也可以被视为无监督的domain adaptation任务。与具有清晰图像（源图像）的训练检测器相比，假设在恶劣天气下捕获的图像（目标图像）具有分布偏移。这些方法大多采用domain adaptation原则，侧重于对齐两个分布的特征，而通常忽略了基于天气的图像恢复过程中可以获得的潜在信息。

最终选择one-stage检测器YOLOv3作为检测网络，它广泛用于实际应用，包括图像编辑、安全监控、人群检测和自动驾驶。它通过对多尺度特征图进行预测来实现多尺度训练，从而进一步提高检测精度，尤其是对于小物体。 采用与原始YOLOv3相同的网络架构和损失函数。

整个算法流程可以总结为如下伪代码：

Efficiency analysis on the compared methods

转载请联系本公众号获得授权