自动驾驶3D目标检测最全总结!相机&雷达&多模态全都有!

来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf链接

添加微信：dddvision，备注：3D目标检测，拉你入群。文末附行业细分群

1. 写在前面

今天笔者为大家推荐一篇自动驾驶3D目标检测的最新综述，总结了基于相机、激光雷达和多模态3D目标检测算法，还研究其对环境变化、噪声和天气变化的应变能力。

下面一起来阅读一下这项工作~

2. 摘要

在现代自动驾驶领域中，感知系统对于准确评估周围环境的状态，从而实现知情预测和规划是不可或缺的。该系统的关键是3D目标检测方法，即利用车载传感器(如激光雷达和相机)来识别附近物体的大小、类别和位置。尽管旨在提高检测精度和效率的3D目标检测方法激增，但系统地研究其对环境变化、噪声和天气变化的应变能力的文献仍然存在空白。本研究强调了在实际场景下评估感知系统的鲁棒性，以及准确性和延迟性的重要性。我们的工作对基于相机、激光雷达和多模态3D目标检测算法进行了广泛的调查，全面评估了它们在精度、延迟和鲁棒性之间的权衡，特别是在KITTI - C和nuScenes - C等数据集上，以确保公平的比较。其中，多模态3D检测方法表现出更强的鲁棒性，并引入了一种新的分类法来重新组织其文献，以提高清晰度。这项调查旨在为3D目标检测算法在现实应用中的能力和限制提供一个更实际的视角，从而引导未来的研究朝着以鲁棒性为中心的方向发展。

3. 3D目标检测典型框架

举例说明了不同传感器的自动驾驶场景下的3D目标检测。

不同模态的优势与局限。

基于相机的3D目标检测方法Pipeline。

基于LiDAR的目标检测Pipeline。

4. 数据集总结

面向自动驾驶的3D目标检测公开数据集。

5. 3D目标检测算法总结

基于相机的3D目标检测方法总结。

基于相机的3D目标检测精度对比。

在KITTI - C验证集上3D目标检测方法的定量对比。

nuScenes - C验证集上3D目标检测方法的对比。

6. 总结

这篇文章研究了基于图像、基于点云和多模态的3D目标检测方法，主要评价指标是准确性、延迟、鲁棒性。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

下载

在公众号「3D视觉工坊」后台，回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。

3D视觉方向交流群成立啦

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信：dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。