吊打VINS与LIVO!Switch-SLAM:退化环境下最强多传感器SLAM框架

来源：3D视觉工坊

添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群

扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 这篇文章干了啥？

近年来，三维同时定位与地图构建（SLAM）技术取得了显著进展，极大地提升了移动机器人的能力。这些发展增强了移动机器人在理解周围环境、精确确定自身位置以及创建环境详细地图方面的能力。然而，SLAM技术也面临着由传感器固有约束引起的多种限制。例如，激光雷达SLAM在缺乏明显结构的环境（如长走廊和广阔开阔地带）中容易退化。相反，视觉SLAM在涉及剧烈运动、光线条件快速变化以及无纹理环境等场景中面临挑战。

为了应对这些问题，已经开发了多种激光雷达-视觉SLAM方法，这些方法融合了激光雷达和摄像机的信息。然而，当处理超出系统能力的持续性退化时，这些方法存在局限性。这些局限性主要源于它们依赖于使用后验概率最大化（MAP）估计的融合方法，如迭代卡尔曼滤波器和因子图优化。因此，长期的失败信息可能会对系统整体性能产生不利影响。

为了解决这些局限性，我们提出了基于切换的激光雷达-惯性-视觉SLAM（Switch-SLAM）。Switch-SLAM并行处理激光雷达和视觉里程计，并通过非启发式退化检测方法选择适当的传感器里程计。Switch-SLAM采用了一种切换结构，该结构有效避免了失败信息在系统中的传播，从而减轻了其对性能的负面影响。

下面一起来阅读一下这项工作~

1. 论文信息

标题：Switch-SLAM: Switching-Based LiDAR-Inertial-Visual SLAM for Degenerate Environments

作者：Junwoon Lee、Ren Komatsu、Mitsuru Shinozaki、Toshihiro Kitajima、Hajime Asama、Qi An、Atsushi Yamashita

机构：东京大学、KUBOTA Corporation

原文链接：https://doi.org/10.1109/LRA.2024.3421792

2. 摘要

本文介绍了一种名为Switch-SLAM的基于切换的激光雷达-惯性-视觉SLAM系统，该系统专为退化环境设计，旨在解决激光雷达和视觉SLAM在退化环境中面临的挑战。当检测到激光雷达里程计退化时，Switch-SLAM通过利用从激光雷达到视觉里程计的切换结构，实现了高鲁棒性和准确性。为了有效检测退化，Switch-SLAM采用了一种非启发式退化检测方法，该方法无需启发式调整，并在各种环境中表现出良好的泛化能力。本文在包含激光雷达和视觉里程计退化场景的多个数据集上对Switch-SLAM进行了评估。实验结果表明，在激光雷达或视觉SLAM退化的多个挑战性环境中，该方法均能实现准确且鲁棒的定位。

3. 效果展示

4. 主要贡献

我们的主要贡献如下：

切换结构：切换结构允许在激光雷达和视觉里程计之间选择最优的初始猜测，这两者都通过IMU测量进行传播。这种选择有效地避免了长期退化，并确保了只有可靠的估计才能在整个系统中传播，从而提高了整体性能。

非启发式退化检测：非启发式退化检测通过采用基于物理假设和统计显著性的预定义阈值来检查优化过程的收敛性。这种检测方法增强了识别退化场景的有效性，无需对阈值进行启发式调整，使其能够适应各种环境条件。

多种场景下的实验：Switch-SLAM通过在各种环境中进行广泛的实验来评估其性能。这些场景涉及激光雷达和视觉里程计的退化，为系统性能提供了全面评估。因此，与其他最先进的SLAM相比，Switch-SLAM在挑战性场景中展示了其优势和有效性。

5. 基本原理是啥？

所提方法的概述如图2所示。该方法主要由三个主要部分组成：视觉里程计、激光雷达里程计和一个切换节点。

在视觉里程计节点中，通过跟踪特征的滑动窗口优化来估计姿态。然后，将视觉里程计估计的姿态以IMU测量频率进行传播。在激光雷达里程计节点中，首先利用从切换结构获得的姿态来校正由自身运动引起的激光雷达畸变。随后，利用几何特征进行扫描到地图的匹配，匹配时的初始猜测由切换节点提供。扫描到地图匹配估计的姿态也按IMU频率进行传播。在切换节点中，根据退化检测的结果，在LIDAR-IMU和视觉-IMU传播得到的姿态之间选择扫描到地图匹配的初始猜测。我们的工作还包括一个GNSS选项，该选项通过姿态图优化与扫描到地图匹配的最终姿态进行融合。

6. 实验结果

准确性和轨迹评估的全部结果如表II和图7所示。在快速旋转数据集上，LIO-SAM在比较方法中表现出最佳性能，而VINS-MONO由于剧烈旋转而无法实现定位。相比之下，激光雷达视觉惯性里程计（LVIO）方法比纯激光雷达方法表现出更大的漂移。我们的方法与LIOSAM相当，因为Switch-SLAM在结构良好的环境中使用切换结构作为纯激光雷达SLAM工作。在主要包含结构化较差的仅地面环境的飞机数据集上，所提出的方法和VIN-MONO在比较方法中表现出最佳性能，而基于激光雷达的方法则无法实现定位。我们的方法还优于最先进的激光雷达-视觉SLAM，因为Switch-SLAM主要在结构化较差的环境中利用视觉里程计进行扫描匹配的初步估计。在包含剧烈运动和结构化较差环境的农场数据集上，激光雷达里程计在映射结构化较差环境的阶段失败，而视觉里程计在剧烈运动的阶段失败。相反，所提出的方法不仅优于比较的激光雷达和视觉SLAM，还优于最先进的LVIO方法。这一结果归因于切换结构，它允许根据给定的环境条件进行适当的状态转换。

在手持设备数据集中，所提出的方法与LVI-SAM具有竞争力，并且优于其他对比方法。请注意，手持设备数据集包含少数激光雷达SLAM退化阶段，这使得LVI-SAM与所提出的方法之间没有明显差异。然而，在视觉SLAM退化持续时间较长的情况下，如快速旋转和农场数据集中，与所提出的方法相比，LVI-SAM会发生显著漂移。

在多楼层和长走廊数据集中，所提出的方法在对比方法中表现出最佳性能。大多数对比方法在处理既包含无结构环境又包含视觉退化的场景时遇到困难。相比之下，所提出的方法通过使用基于切换的优化策略，很好地应对了这些挑战。

在CERBERUS数据集中，所提出的方法在ANYmal 1和ANYmal 2上表现出最佳性能。这一结果突出了Switch-SLAM有效应对激光雷达退化的能力，如图8所示，甚至优于其他对比的LVIO方法。在ANYmal 3中，由于单个相机中断，VINSMONO和LVI-SAM在映射中失败。此外，走廊式结构导致LOAM和LIO-SAM退化。相反，由于采用了切换结构，Switch-SLAM成功地在这些环境中进行了SLAM。在ANYmal 4中，LIO-SAM和Switch-SLAM的表现优于LVI-SAM。这是因为LVI-SAM依赖于VINS-MONO作为扫描到地图匹配的初始猜测。VINS-MONO与扫描到地图匹配之间的状态估计存在显著差异，导致出现显著漂移。相比之下，由于采用了状态缓冲区和状态插值方法，所提出的方法弥合了视觉里程计与扫描到地图匹配之间的巨大差距，从而实现了成功的映射。

7. 总结 & 未来工作

在本文中，我们提出了一种名为Switch-SLAM的方法，该方法专为解决单个传感器里程计的退化情况而设计。为了克服基于MAP的传感器融合方法的局限性，Switch-SLAM引入了一种新颖的基于切换的传感器融合方法，该方法利用切换结构有效防止失败信息在系统中传播，从而在退化情况下提高鲁棒性。此外，Switch-SLAM还引入了一种非启发式退化检测方法，消除了对启发式调整的需求。在涉及激光雷达或视觉里程计退化的实验评估中，Switch-SLAM在准确性和可定位性方面均优于最先进的激光雷达、视觉和激光雷达-视觉SLAM方法。未来的工作将涉及在包含无结构环境、剧烈运动和不同光照条件的各个领域测试我们的方法，以实现实际应用。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉工坊知识星球

具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。