来源：计算机视觉工坊

在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf、代码、主页链接

添加微信：dddvisiona，备注：语义分割，拉你入群。文末附行业细分群

本文提出了一种解决UAV室内环境感知中语义信息提取和利用挑战的新方法。通过在后端集成最先进的视觉SLAM和先进的对象分割方法，以及采用基于OctoMap的体素化3D地图表示，提高了系统的计算和存储效率。通过采用融合算法，从前端SLAM任务中获取语义信息，以及相应的点，进一步增强了UAV在室内空间中感知和导航的能力，解决了姿态估计准确性和不确定性降低的问题。通过Gazebo模拟验证了提出系统的有效性，并成功将该方法应用于Jetson Xavier AGX单元中，以实现实际应用。

读者理解：

本文介绍了一种创新的方法，旨在通过在无人飞行器（UAVs）中引入语义稀疏地图（S3M）来提高对环境的感知和理解。该方法通过使用RGB-D相机数据，结合对象实例分割和Octomap映射技术，成功地解决了将语义信息整合到UAV地图操作中的挑战。这对于UAV在复杂环境中执行任务，如搜救行动，具有重要意义。

总体而言，该研究的方法创新性强，通过使用先进的SLAM技术、语义分割网络和Octomap等工具，有效地实现了语义信息的提取和利用。在方法论部分，作者详细介绍了姿态估计、语义分割、语义融合和语义地图创建的步骤，使读者能够清晰地理解整个流程。

然而，文章中提到了未来工作可以探索集成额外传感器以降低成本，以及使用机器学习技术进一步提升UAV感知能力。这些提及的未来方向为读者提供了启示，也展示了作者对该领域发展方向的一些思考。

1 引言

在这篇论文中，研究围绕无人飞行器（UAVs）在地理信息采集方面的应用展开，特别是在火灾救援、检查和农业等领域。研究的核心问题是如何通过语义映射提高UAV的环境感知和自主能力。传统的SLAM方法在复杂任务中存在挑战，而语义映射则结合了环境几何估计和语义标记，提高了UAV的情境理解和交互能力。由于室内GPS的不准确性、环境混乱、实时处理需求和语义地图的复杂性等挑战，研究引入了Simultaneous Localization and Mapping (SLAM)技术，尤其是视觉SLAM，作为无人机应用领域的解决方案。在研究中，各种SLAM算法和语义分割方法被探讨，并提出了一种新的Semantic Segmentation Sparse Mapping (S3M) SLAM系统，通过RGB-D相机逐步构建对象级地图。总体而言，本研究的主要贡献包括更快的6自由度姿态跟踪、基于对象分割的语义稀疏地图构建、几何和语义描述的语义融合策略、以及对前端系统的OctoMap的高效表示和存储方法。通过实验证明，该系统在计算受限平台上能够实时构建语义稀疏地图，为UAV执行先进的自主任务提供了重要支持。

2 方法

本文提出的S3M SLAM系统通过有效的姿态估计和语义分割，结合语义融合和OctoMap技术，实现了在UAV中逐步构建对象级地图的目标。具体而言，该系统采用ORBSLAM3算法进行实时姿态估计，通过语义分割网络PSPNet从RGBD图像中提取有意义的对象实例。随后，采用语义融合策略将跨多个视图的语义标签整合到点云中，以提高场景理解。最后，利用OctoMap技术进行地图的高效表示和存储，克服了传统基于点云的地图方法的存储限制。总体而言，该方法在UAV的地图构建中取得了显著的进展，为实现先进的自主任务提供了关键支持。

3 总结

本文提出了一种新的方法，基于RGB-D相机数据实现了无人飞行器（UAVs）中的语义稀疏地图（S3M）。该S3M SLAM框架成功地解决了将语义信息融入UAV地图操作的挑战，从而提高了对环境的感知和理解。通过将对象实例分割与基于Octomap的映射相结合，创造了一个同时捕捉空间占用和对象语义的语义地图。未来的工作可以考虑集成额外的传感器以降低成本，并利用机器学习技术进一步增强UAV的感知能力。

下载

在公众号「计算机视觉工坊」后台，回复「3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。

3D视觉方向交流群成立啦

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。