作者：Nico Klingler

编译：ronghuaiyang

导读

在许多计算机视觉应用中（例如物体跟踪和医学成像），需要将同一物体（或场景）从不同视角、不同时间或不同条件下拍摄的两张或多张图像对齐。

在许多计算机视觉应用中（例如物体跟踪和医学成像），需要将同一物体（或场景）从不同视角、不同时间或不同条件下拍摄的两张或多张图像对齐。图像配准算法将给定的图像（参考图像）转换为另一张图像（目标图像），使其在几何上对齐。这种调整在多种应用中都是必需的，例如图像融合、立体视觉、物体跟踪和医学图像分析等。

图像配准是什么？

图像配准是指通过对一组图像进行空间变换并将其对齐到一个共同的观测参考系——即从这组图像中选择的一个图像的过程。配准是在图像处理任务中重要的一步，尤其当需要组合来自不同数据源的图像时。在图像配准的过程中，存在两种情况：

• 它利用了图像集合中相对于选定作为参考图像的三维变换。
• 这是算法执行中最耗时的步骤，而且配准的结果无法预先确定。

体积插值网络(Volume Tweening Network, VTN)用于3D动态图像配准。每个子网络负责找到固定图像和移动图像之间的形变场

图像配准常用于医疗和卫星摄影中对齐来自不同摄像机源的图像。它可以以两种方式实现：

• 图像到图像配准： 多个图像被对齐，以便能够确定代表相同场景的匹配像素。
• 图像到地图配准： 输入图像被位移以匹配基础图像的地图信息，同时保持其原始的空间分辨率。

如何实现图像配准？

图像配准方法可以分为两大类：基于区域的方法和基于特征的方法。基于区域的方法适用于图像缺少重要特征的情况，此时区分信息是由阴影颜色而非清晰的形状和结构给出的。

图像对齐是图像配准的第一步，通常分为四个步骤：

• 特征检测： 由领域专家在参考图像和待检查图像中检测出具有显著性的对象（边缘、轮廓、线条边界、角点等）。
• 特征匹配： 定义参考图像与目标图像中特征的相关性。匹配是基于图像内容或控制点集的符号描述完成的。
• 确定变换模型： 计算参数，即映射函数或坐标系，这些参数使检测到的图像与参考图像对齐。
• 图像重采样与变换： 通过应用映射函数来改变检测到的图像。

计算机视觉技术在图像配准中的应用

以下是常见的图像配准技术及其优缺点概述：

基于像素的方法

这种方法应用交叉相关统计方法进行图像配准。它是基于模式匹配，即在图像中查找模板或模式的位置和方向。交叉相关是一种相似度或匹配度量。

二维交叉相关函数计算参考图像与待检查图像之间每个平移的相似度。如果模板与图像匹配，则交叉相关将达到最大值。

交叉相关方法的主要缺点是处理复杂度高和相似度最大值平坦（由于图像的自相似性）。可以通过预处理或应用边缘相关或向量相关来改进此方法。

基于轮廓的图像配准

这种方法利用强烈的统计特性来匹配图像特征点。使用彩色图像分割提取图像中的感兴趣区域。

为了生成图像的轮廓——计算给定颜色集合的平均值。在分割过程中，图像中的每个RGB像素被归类为属于特定颜色范围或不属于。此外，使用欧几里得距离来确定相似度。

这两组图像被编码为二值图像（黑白）。使用高斯滤波器来消除噪声，因为阈值会导致图像模糊。接着获取图像的轮廓。轮廓方法的准确性令人满意，但缺点是手动操作且速度慢。

基于点映射的方法

这是最常见的用于注册两个未知偏移图像的方法。它利用从特征提取算法/过程中产生的图像特征。特征提取的基本目标是过滤掉冗余信息。

选择出现在两幅图像中的特征，这些特征更能容忍局部扭曲。在每幅图像中检测到特征后，这些特征应该可以是匹配的。

控制点对于点匹配至关重要。控制点的例子包括角点、局部最大曲率点、轮廓线、交界线、具有局部最大曲率的框中心以及闭合边界的重心。

基于特征的方法的局限性在于图像内容的边界。注册特征应该在图像的边界区域被识别。某些框可能缺乏这种特征，且它们的选择通常不是基于内容评价。

基于特征的配准

当图像强度提供更多局部结构信息时，可以使用基于特征的匹配方法。从特征提取技术产生的图像特征可用于配准。它们检测并在图像间匹配关键特征（如角点、边缘或兴趣点）。然后，根据这些特征计算变换参数。

这种方法可以处理尺度变化、平移和旋转，但在大变形或遮挡的情况下可能会失败。

高级图像配准方法

• 基于强度的配准： 它比较参考图像和待检查图像的像素强度值，以计算最优变换参数。它可以处理广泛的变换，包括非线性扭曲，但对于噪声敏感，可能需要额外的计算。
• 互信息配准： 它计算两幅图像像素强度之间的统计依赖关系，寻找最大化互信息的变换。它适用于配准具有多种对比度和模态的图像，但计算密集。
• 基于深度学习的配准： 它应用卷积神经网络(CNNs)直接从图像对学习变换。它可以处理复杂的变换和大数据集，但需要额外的训练数据。此外，在训练期间计算成本较高。
• 光流配准： 它通过求解光流方程来估计连续帧之间像素的运动。广泛应用于视频分析和运动跟踪，但在复杂场景中可能会失败。它也对光照变化非常敏感。

图像配准的应用

图像融合

图像融合的任务是将两张或多张已配准的图像合并成一幅新图像，这幅新图像比原始图像更容易理解。它在医学成像中非常重要，因为它能创造出更适合人类视觉感知的图像。一种简单的图像融合技术是取两张输入图像的平均值，但这会导致特征对比度降低。

更好的方法是应用基于拉普拉斯金字塔的图像融合技术，但这会产生块状伪影的成本。最佳的融合输出图像可以通过小波变换针对每幅源图像来实现。

物体跟踪

物体跟踪算法跟踪物体的运动并试图估算（预测）物体在视频中的位置。例如，有一种算法叫做质心跟踪器。它存储最后已知的边界框，然后有一组新的边界框，接着最小化匹配物体间的最大距离。

为了变换由不同传感器生成的同一场景的图像，物体跟踪需要事先正确配准的异构图像，即进行跨模态图像配准。最近的深度学习技术利用大规模参数的神经网络来预测特征点。

医学成像

医学图像配准旨在找到最佳的空间变换，以最佳地对齐现有的解剖结构。它被广泛应用于许多临床应用中，例如图像重建、图像引导、运动跟踪、分割、剂量积累等。医学图像配准是一个宽泛的主题，可以从不同的角度来考虑。

从输入图像的角度来看，配准方法可以分为单模态、多模态、跨患者和同患者配准。从变形模型的角度来看，配准方法可以分为刚性、仿射和可变形方法。从感兴趣区域(ROI)的角度来看，配准方法可以根据解剖部位分组，例如大脑、肺部配准等。

图像配准的局限性

图像配准存在一定的局限性，例如：

• 特征选择： 用于配准的特征（关键点）的选择会对结果产生重大影响。选择不当或不足的特征可能导致配准性能不佳。
• 对噪声的敏感性： 图像配准对图像中的噪声敏感。噪声数据可能导致变换参数计算错误，进而影响配准效果。
• 适用范围有限： 图像配准技术是为特定类型的图像变换设计的，例如刚性变换（平移、旋转）或平滑变换（可变形）。
• 对初始猜测的敏感性： 配准的准确性很大程度上取决于初始猜测的质量。不准确的初始化可能导致结果不佳。
• 光照（视角）变化： 当图像存在显著的光照条件或视角变化时，配准方法可能会受到影响。

总结

图像配准是一项重要的技术，用于集成、融合和评估来自多个数据源（传感器）的信息。它在计算机视觉、医学成像和遥感等领域有着广泛的应用。

处理复杂非线性扭曲、多模态配准以及遮挡图像的配准有助于提高在最困难应用场景中所使用的计算机视觉方法的鲁棒性。

—END—

英文原文：https://viso.ai/computer-vision/image-registration/