TPAMI'23最全综述:一篇文章搞定自动驾驶3D目标检测!

作者：敖丙 | 来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf及支撑材料、代码链接

添加微信：dddvisiona，备注：3D目标检测，拉你入群。文末附行业细分群

0. 写在前面

3D目标检测是自动驾驶非常重要的一个基础任务，其重要性不言而喻。今天笔者为大家推荐一篇3D目标检测方向的最新综述，这篇文章包含201篇参考文献，全面总结了基于图像的3D目标检测方案，还谈论了未来的研究方向。

下面一起来阅读一下这项工作~

2. 摘要

图像中的3D目标检测是自动驾驶中的基础且具有挑战性的问题之一，近年来受到了工业界和学术界越来越多的关注。得益于深度学习技术的快速发展，基于图像的三维检测取得了令人瞩目的进展。特别地，从2015年到2021年，已经有超过200项工作研究了该问题，涵盖了广泛的理论、算法和应用。然而，到目前为止，还没有最近的调查来收集和整理这些知识。在本文中，我们填补了文献中的这一空白，并首次对这一新颖且不断增长的研究领域进行了全面调查，总结了基于图像的3D检测最常用的pipeline，并对其每个组成部分进行了深入分析。此外，我们还提出了两个新的分类法，将最先进的方法组织成不同的类别，目的是对现有方法进行更系统的审查，并与未来的工作进行公平的比较。在回顾迄今为止所取得的成果的同时，我们还分析了该领域目前面临的挑战，并讨论了基于图像的3D检测研究的未来方向。

3. 数据集总结

可用于自动驾驶场景下基于图像的3D目标检测的数据集总结。其中一些数据集包括多个任务，这里只报告了3D检测基准（例如KITTI 3D发布了超过40K的图像,其中约15K用于3D检测）。

4. 分类法

为了便于对现有方法进行系统分析，并在未来的工作中进行公平的性能比较，作者提出了两种新的分类法，即根据所采用的框架和使用的输入数据对现有方法进行分类。

基于图像的3D目标检测pipeline的概述。分别展示了使用蓝色、绿色和红色箭头的数据提升、特征提升和结果提升方法的数据流。

对最相关的基于图像的3D检测方法和基准进行了时间上的列举。

在顶会顶刊上发布的基于图像的3D探测器对辅助数据和结果的要求。在Car类别的KITTI测试集上报告了用于3D / BEV检测的AP | R40。根据所使用的辅助数据对方法进行分组，每组中的方法在适中的设置下通过3D AP | R40进行排序。还展示了这些方法是否使用了预训练权重(排除ImageNet预训练)。

5. 未来发展

作者认为，未来3D目标检测主要有两个挑战：

（1）从2D图像中感知3D世界是一个不适定问题；

（2）标注3D数据是极其昂贵的，并且现有数据集的规模仍然有限。

对于第一个问题，可以探索更好的深度估计方法，也可以利用多模态和时间序列。对于第二个问题，应该考虑完监督学习之外的方法。此外，也可以考虑从大规模预训练模型中进行迁移学习。最后，考虑到3D目标检测的应用场景，还应该考虑模型的泛化能力。

6. 总结

这篇文章对基于图像的自动驾驶3D检测的最新进展进行了全面的综述。作者首先对现有的方法进行了分类。然后对这些算法进行了详细的比较，讨论了3D检测的每个必要组成部分，如特征提取、损失建模、后处理等。还讨论了辅助数据在该领域的应用，以及开放性挑战和潜在方向。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

下载

在公众号「3D视觉工坊」后台，回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。

3D视觉方向交流群成立啦

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信：dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。