增强特征匹配!SLAM&三维重建玩家看过来~

来源：3D视觉工坊

+v：dddvision，备注：SLAM，拉你入群。文末附行业细分群

0. 写在前面

基于学习的局部特征匹配器在不同特征的数据集上的泛化性不太好，所以这篇文章提出了一种在新数据集上微调的方法，来提高泛化性和匹配精度。

下面一起来阅读一下这项工作~

1. 论文信息

标题：SCENES: Subpixel Correspondence Estimation With Epipolar Supervision

作者：Dominik A. Kloepfer, Jo?o F. Henriques, Dylan Campbell

机构：牛津大学、澳大利亚国立大学

原文链接：https://arxiv.org/abs/2401.10886

2. 摘要

从场景的两个或多个视图中提取点对应关系是一个基本的计算机视觉问题，对于相对相机位姿估计和运动产生的结构特别重要。现有的局部特征匹配方法，通过在大规模数据集上进行对应监督训练，在测试集上获得了高精度的匹配。然而，与经典的特征提取器不同，它们不能很好地泛化到与它们训练的数据集具有不同特征的新数据集上。相反，它们需要微调，即假设地面-真值对应关系或地面-真值相机姿态和3D结构是可用的。我们通过去除3D结构的要求(例如，深度图或点云)来放松这个假设，并且只需要相机的姿态信息，这些信息可以从里程计中获得。我们这样做是通过用极线损失代替对应损失，这鼓励假定的匹配位于相关的极线上。虽然弱于对应监督，但我们观察到这一线索足以在新数据上微调现有模型。然后，我们通过使用一种新颖的自举方法中的位姿估计，进一步放松了已知相机位姿的假设。我们在极具挑战性的数据集上进行了评估，包括一个室内无人机数据集和一个室外智能手机相机数据集，在没有强大监督的情况下获得了最先进的结果。

3. 效果展示

SCENES (有极线监督的亚像元匹配估计)学习在不需要匹配监督的情况下找到高质量的局部图像匹配。（a）中的红色像素对应于（b）中的红色极线。网络最初将红色像素与蓝色像素进行匹配，但极线损失偏好匹配在极线(不一定是最接近的点)上。通过最先进的MatchFormer算法找到的匹配关系（c），然后使用SCENES可以优化匹配关系（d）。

4. 主要贡献

（1）对现有匹配损失进行极线损失替换，消除了对强匹配监督的需求；

（2）在仅位姿监督或无监督的新域上适应预训练模型的策略。

5. 和其他SOTA方法的对比

室内EuRoC-MAV数据集上的相对位姿估计性能。

室外San Francisco Landmarks数据集上的相对位姿估计性能。

6. 总结

这篇文章提出了一种估计两幅图像之间亚像素匹配关系的方法，不需要真值匹配关系进行训练。作者将标准分类和回归匹配损失重新定义为极线损失，在训练过程中只需要真实的基础矩阵。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

下载

在公众号「3D视觉工坊」后台，回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。

3D视觉方向交流群成立啦

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以+v：dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。