《测绘学报》
构建与学术的桥梁 拉近与权威的距离
低空摄影测量立体影像匹配的现状与展望
陈晓勇1, 何海清1, 周俊超1, 安谱阳1, 陈婷2
1.东华理工大学测绘工程学院, 江西 南昌 330013;2.东华理工大学水资源与环境工程学院, 江西 南昌 330013
收稿日期：2019-10-27；修回日期：2019-12-05
基金项目：国家自然科学基金（41861062；41401526）；江西省自然科学基金（20171BAB213025；20181BAB203022）；江西省高等学校科技落地计划（KJLD14049）
第一作者简介：陈晓勇(1961-), 男, 教授, 研究方向为地理信息科学的理论和应用。E-mail:chenxy@ecit.cn
通信作者：何海清, E-mail：hyhqing@163.com
摘要：影像匹配是在两幅或多幅具有重叠度的影像中通过特定的算法提取影像间同名点的过程，是低空摄影测量数据处理中最为关键的步骤，匹配质量与效率直接影响到后续数据处理的成功与否，关系到测绘产品生成质量。本文系统阐述了低空摄影测量影像匹配的研究现状与展望。对影像匹配的分类进行总结和归纳，大体上，影像匹配可划分为两大类，即基于灰度和基于特征的匹配。重点针对基于特征的影像匹配，从点、线、面等特征提取算法及特征描述符和相似性测度与策略等方面进行了详细阐述。此外，列举最新的基于深度学习的影像匹配算法，对低空平台搭载的多样化传感器数据融合可能涉及的影像匹配方法进行了展望。
关键词：影像匹配 低空摄影测量 特征提取 深度学习
Progress and future of image matching in low-altitude photogrammetry
CHEN Xiaoyong1,HE Haiqing1, ZHOU Junchao1, AN Puyang1, CHEN Ting21.School of Geomatics, East China University of Technology, Nanchang 330013, China;
2.School of Water Resources & Environmental Engineering, East China University of Technology, Nanchang 330013, China
Foundation support: The National Natural Science Foundation of China (Nos. 41861062; 41401526); The Jiangxi Natural Science Foundation of China (Nos. 20171BAB213025; 20181BAB203022); The Higher School Science and Technology Landing Project of Jiangxi Province (No. KJLD14049)
First author: CHEN Xiaoyong(1961—), male, professor, majors in theory and application of geographic information science.E-mail: chenxy@ecit.cn.
Corresponding author: HE Haiqing, E-mail: hyhqing@163.com.
Abstract: Image matching is the process of obtaining corresponding points between two or more overlapping images by a specific algorithm. It is the critical step in the low-altitude photogrammetric data processing. The quality and efficiency of matching directly affect the subsequent data processing and the quality of mapping product generation. Therefore, image matching is one of the hot topics in the field of low-altitude photogrammetry and many relevant algorithms have been proposed. In this paper, the research status and prospect of image matching in low-altitude photogrammetry are described systematically. Firstly, the categories of image matching are summarized and can be generally divided into gray- and feature-based matching. We focus on feature-based image matching, e.g., point, line, and region-based features extraction and the relevant descriptors and similarity measures are described in detail. Besides, the latest image matching algorithms based on deep learning are listed, and the image matching methods involved in data fusion of various sensors on low-altitude platforms are mentioned.
Key words: image matching low-altitude photogrammetry feature extraction deep learning
低空摄影测量由于摄影高度较低，云雾产生的遮挡影响更小，低空飞行平台具有机动灵活、便捷、快速高效等优势，在某种程度上可对航空和卫星摄影测量方式进行补充，在资源调查、环境监测、城市建模、地形测绘等领域应用广泛[1-2]。
在低空摄影测量数据处理中，影像匹配是最为关键的步骤。影像匹配旨在两幅或多幅具有重叠度的影像中通过特定的算法提取影像间同名点的过程，匹配质量与效率直接影响到后续数据处理成功与否，以及关系到测绘产品生成质量。因而，影像匹配是低空摄影测量数据处理领域的研究热点之一，迄今为止，国内外研究人员提出了许多卓有成效的方法。
1 基于灰度的匹配方法
基于灰度的影像匹配算法起步较早，是图像匹配中常用的方法。该算法根据两幅影像之间的重叠区域的灰度相似性程度来确定匹配点，目前发展较为成熟。具体而言，该算法是比较参考影像待匹配点邻近区域灰度与目标影像搜索区像素邻近灰度的相似性来确定两幅影像的同名点。基于灰度的影像匹配方法包括协方差函数法、有差平方和法、相关系数法、差绝对值和法、相关函数法，以及最小二乘法、去均值归一化相关算法、序列相似性检测算法、归一化灰度组合算法、不变矩匹配法、网格匹配法、块匹配法和比值匹配法等。然而，基于灰度的匹配算法过于依赖点像素的信息，对于噪声、灰度与尺度变化等变化较为敏感，且匹配效率不高，仅适合于匹配简单的刚体或仿射变换的场景。为提高基于灰度的匹配方法效率，文献[3]于1972年利用核线相关将影像相关的二维搜索空间缩小为一维搜索，从而大幅度提高了匹配效率。此外，为提高影像匹配在几何畸变、噪声和辐射等存在的情况下的稳健性，文献[4]提出了最小二乘影像匹配算法，利用最小二乘平差来消除匹配窗口中影像畸变与噪声带来的影响，匹配精度可达1/10~1/100像素，从而实现影像高精度相关。文献[5]提出了基于物方的影像匹配(VLL法)，通过迭代逐步趋近的方法在待匹配点平面坐标已知的情况下，确定待匹配点高程。
基于灰度的影像匹配方法虽然算法简单，但对光照变化敏感，对于影像旋转和尺度变化适应性差，且存在运算量较大等缺陷，难以满足低空影像匹配的需要。相比而言，基于特征的匹配方法是通过比较重叠影像上特征的相似程度来确定同名点。特征基元包括点、线、面等显著特征，相比像素点数量大为减少，提取的特征具有较强的抗噪性，且对影像间灰度变化、局部形变和遮挡也有较强的稳健性，因而，低空摄影测量影像匹配广泛采用基于特征的匹配方法，该方法主要包括3个过程，即特征提取、特征描述、特征匹配。
2 基于特征的匹配方法
根据提取特征的种类，影像特征提取大致可分为点特征提取、线特征提取及面特征提取3大类。
2.1 点特征提取
点特征是指影像中灰度信号在二维方向上有着明显变化的点，是影像中最基本的特征。点特征的概念由文献[6]在1980年提出，Moravec角点提取算子利用差平方和函数计算局部窗口内8个方向的相似性，根据局部最大值来确定角点，然而，Moravec算子易受噪声的影响。文献[7]提出了SUSAN(smallest univalve segment assimilating nucleus)算子，该算子与Moravec算子的基本思想一致，都是通过局部自相似性来检测角点，不同的是，SUSAN算子在计算相似性时使用矩形函数，这一改变可避免噪声造成的干扰。在Moravec算法的基础上，文献[8]提出了Harris角点提取算法，从数学的角度上定义点特征，该方法以Hessain矩阵及其特征值作为依据来判断特征点，具有计算简便，检测到的角点具有旋转不变等特点。与Harris角点算子类似的还包括Kanade-Tomasi算子[9]。文献[10]在Harris算子上加以改进，使其扩展到在仿射变换时角点特征也较为稳健。为进一步提升点特征的旋转不变、尺度不变性，文献[11]提出了DoG(Difference of Gaussian)特征；在此基础上，文献[12]结合尺度空间理论提出了DoG特征提取算法，使得提取的特征点具有旋转和尺度不变性。此外，文献[13]提出了FAST角点特征来进一步提升点特征检测效率。在FAST算子基础上，文献[14]提出了一种自适应通用加速分割检测算法。
2.2 线特征提取
文献[15]分别于1983年和1984年定义线特征为影像中脊和谷。在线特征检测中，较为经典的算子是Sobel算子[16]和Canny算子[17]。Sobel算子是基于Hessain矩阵在尺度空间中通过该矩阵的两个特征值来判别边缘，检测效率较低。为此，Canny算子提出利用基于搜索(影像的一阶导数)和基于零交叉(影像二阶导数)的特征检测算法来提高线特征检测效率。除了这两种经典的线提取算法之外，文献[18]提出了一种利用傅里叶变换，将影像由空间域变换到频率域，通过相位一致性来检测线特征；此外，也有利用特征点算子来检测特征线，如利用SUSAN算子来检测边缘点[7]。
2.3 面特征提取
面特征与点、线特征有所不同，面特征的范围较大，特征较为稳定并具有抗噪能力强等特点，在影像中主要表现为灰度大致相同或变化较为平缓的区域。基于面特征的提取算法较为典型的算法包括MSER算法[19]、PCBR检测算子[20]。其中，MSER算法移植了分水岭的思想，该算法提取的极值区域即面特征为某个阈值图像的连通分量，并通过该极值区域的旋转与尺寸归一化来实现仿射不变性。PCBR检测算子是一种基于线条和曲率的算法，在尺度空间中构建最大主曲率图像，并利用分水岭分割方法来寻找在尺度变化情况下，位置和面积不变或变化较小的区域。此外，研究人员还提出了旨在检测兼具尺度不变性与仿射不变性的区域的其他算法，如基于图割的影像分割算法等[21]。
2.4 特征描述符
在影像中提取特征后，为评判不同影像特征间的相似性，需要利用数值向量对特征区域的局部特征进行编码，该数值向量通常称为特征描述符。其中，较为常用的是基于分布的描述符，通过不同的统计直方图形式来表示局部区域的特征[22]，与基于导数和过滤器的描述符[23]等其他类型描述符相比在性能上具有一定的优势。基于分布的描述符通常可分为基于渐变、像素强度顺序、相位一致、自相似、整合及二进制描述符。
作为当下较为流行的基于分布的描述符的SIFT算法[24]，在计算机视觉和遥感等领域已得到广泛应用，其基本思想是依据图像梯度函数来构造3D空间方向直方图。许多研究人员在SIFT描述符的基础上进行了扩展，如SURF描述符[25]在笛卡尔网格上应用Haar小波响应以提高其计算速度；文献[26]提出了描述符DAISY，它利用不同的各向同性高斯函数来高效、密集地计算梯度方向直方图，并使用圆形栅格代替矩形栅格，以提高描述符的稳健性和独特性。PIIFD(partial intensity invariant feature descriptor)即部分强度不变特征描述符[27]利用对称梯度方向直方图来进行多模态图像配准。文献[28]利用边缘的位置和方向在SIFT的空间结构中生成可扩展的二进制边缘图。文献[29]利用仿射尺度空间和镜面反射极化直方图来改进SIFT特征描述符。文献[30]提出AB-SIFT算法，将自适应量化应用于描述符结构，以提高其可区分性与稳健性。
为使基于分布的描述符获得旋转不变性，文献[31]提出了基于像素强度阶次的描述符LIOP和基于多支持区域阶次的梯度直方图描述符MROGH[32]；文献[33]提出了整体强度阶次描述符OIOP和混合强度阶次描述符MIOP；文献[34]提出了多邻域强度相对阶次描述符MIROP。尽管这些描述符具有旋转不变性，但对明显的非线性光照变化较为敏感。
此外，二进制描述符也被提出在计算效率及存储空间方面提升特征描述符的性能，如BRIEF(binary robust independent elementary features)[35]、FREAK(fast retina key point)[36]、LDB(local difference binary)[37]和RFD(receptive fields descriptor)[38]等，这些算法通常基于滤波或图像点对之间的强度关系进行线性组合，比传统的非二进制描述符所占内存更少，并提高了效率。文献[39]提出了CSLBP(center sym-metric local binary pattern)描述符，该描述符以SIFT空间形式和通过编码灰度强度的局部分布来描述特征。文献[40]提出了对光照稳健的LPCD(local patch clustering distribution)描述符，该描述符采用双码本聚类方法进行区域划分，并采用稳健的检测响应来进行区域加权。文献[41]提出了LOC(local contrast and ordering)描述符，该描述符将符号和强度差的排序应用于特征描述。文献[42]提出了DaLI(deformation and light invariant)描述符，该描述利用热核特征并结合傅里叶变换和PCA方法的对数采样来进行特征描述。然而，基于梯度或强度顺序的描述符对非线性辐射差异的较为敏感易导致对多传感器遥感图像匹配失败。此外，一些对光照不变性的描述符也被提出，如文献[43]提出了用于多传感器图像配准的HOPC(histogram of orientated phase congruency)描述符，基于图像结构特性来构建描述符对图像强度分布变化较为稳健。随后，文献[43—44]提出了DLSS描述符，以及基于扩展的PC模型和DAISY算法，提出了LHOPC(local histogram of orientated phase congruency)描述符。另外，DOBSS(distinctive order based self-similarity)[45-46]也被利用来增强描述符的可识别性。文献[47]结合局部三元模式算子和LSS(local self-similarity)(局部自相似描述符)来描述特征以达到对光照的鲁棒。
2.5 相似性测度
在检测影像特征和描述特征后，特征的相似性通过欧氏距离、曼哈顿距离、切氏距离、明氏距离、马氏距离、汉明距离等来测度，相应的匹配策略主要包括以下3种：
(1) 由粗到精的降维匹配，在金字塔顶层进行影像匹配解算粗略的外方位元素，根据核线关系在原始影像上将特征匹配空间由二维降为一维。
(2) 匹配准则，通常使用如欧氏距离等来度量特征的相似性，并利用相关系数法和设定阈值来剔除误匹配点，匹配点相关系数一般能达到0.9以上[5]。
(3) 误匹配点及粗差剔除，影像匹配不可避免存在误匹配点及粗差，通常利用几何约束如核线约束、相容性约束、唯一性约束、视差连续性约束等，以及RANSAC(random sample consensus)随机抽样一致性算法等来去除误匹配点和剔除粗差。
当前，尽管低空垂直摄影测量立体影像匹配的相关技术相对成熟，但测绘产品的多样化需求使得低空摄影测量影像匹配面临新的挑战，比如倾斜摄影测量影像匹配、多传感器影像匹配等，现有的影像匹配方法能否适应新形式的低空摄影测量影像匹配仍需进一步研究。
3 倾斜摄影测量影像匹配
低空摄影测量中的影像大多通过对地垂直摄影的方式获得，主要对地物顶部进行观测，存在基线短、基高比小、交会角小等缺陷，对于获取起伏较大的地形地物侧面的纹理与三维几何结构等信息十分有限[48]，限制了低空摄影测量精度的提高。
为弥补垂直摄影的不足，测绘领域近些年发展了低空倾斜摄影技术，它可通过在同一飞行平台上搭载多台不同角度的对地观测传感器，能同时从垂直、倾斜等不同的角度采集影像。低空倾斜摄影相比垂直摄影，可采集更为丰富的对地观测数据，且可增大前方交会角，能实现宽基线大倾角的摄影测量。文献[49]从基于共线方程严密解的前方交会法推导与试验验证了交会角与旋转角对近景摄影测量精度的影响，可以推知具有宽基线的低空倾斜摄影测量方式有利于提高当前基高比小的低空摄影测量精度，因此，研究宽基线低空倾斜摄影测量具有重要的实用价值。在倾斜摄影测量数据处理中，立体影像间存在几何变形与遮挡关系[50]，影像自动匹配是关键技术和难点之一，也是影响倾斜摄影测量精度和效率的重要一环，通常利用已知倾斜角度预先对立体像对进行几何校正后再匹配[51]。然而，以无人机、飞艇、系留气球等作为平台的低空倾斜摄影得到的立体像对存在一些难以克服的问题：①因平台较轻、低空气流不稳定，造成摄影姿态不稳定；②平台飞行高度低，复杂地形下对地观测影像几何变形尤为突出，并且地物尺度变化大。常用的匹配方法没有较好的环境适应性，致使低空倾斜影像匹配可靠性不高，难以获得分布均匀、定位精度高的同名点。同时，在低空倾斜摄影中，获取的影像倾角变化较大，传统的影像匹配方法因不具有仿射不变性，难以满足大倾角低空影像自动匹配需要。
迄今为止，为解决宽基线大倾角影像匹配问题，国内外开展了大量而深入的相关研究。针对不同视点影像中同名特征点领域窗口之间的几何透视变形，目前大多特征匹配算法采用仿射变换模型来近似表述这种变形，采用仿射不变性的特征来进行影像匹配[52]。国际上，文献[53]提出了基于局部仿射不变性特征的宽基线立体匹配方法，不依赖边缘或特征点，而是完全根据局部灰度强度信息进行影像匹配；文献[54]提出了针对平面的仿射不变性的特征点检测算法；文献[55]提出了基于最大稳定极值区域(maximally stable extremal regions，MSER)的宽基线立体匹配方法，试验结果表明对于尺度、光照条件变化、视点变化等立体像对匹配，能取得较高的极几何估计精度；文献[56]通过试验对比了Harris-Affine、Hessian-Affine、MSER、EBR(edge-based region detector)、IBR(intensity extremal-based region detector)、salient regions等常见的仿射不变性特征提取算法，表明MSER算子具有最佳的仿射不变性；以MSER算法为代表的面匹配在解决局部仿射不变性方面应用较多，常选用其MSER边界点进行精确匹配[51]，或拟合MSER区域椭圆范围建立描述子进行匹配[55, 57]；文献[58]提出了仿射不变的SIFT算法(affine-SIFT, ASIFT)，根据摄影中心轴模拟影像在各个视角的变化，对各个视角中影像进行SIFT运算来实现仿射不变性的影像匹配，试验结果表明对于宽基线、大倾角影像立体匹配具有较好的效果，但采用了SIFT算法提取的特征点定位精度，相对于基于F?rstner或最小二乘等匹配方法在精度上更低[49]。在国内，文献[59]提出了面向宽基线立体影像匹配的高质量仿射不变特征提取方法，集成特征筛选方法、MSER、SIFT的特征提取算法，试验表明该方法具有更高的重复率和匹配成功率，有利于宽基线立体匹配；文献[60]提出了针对高分辨率遥感影像的多基线影像匹配方法，可适用于地势起伏较大的山地区域影像匹配；文献[61]提出了基于SIFT的宽基线立体影像密集匹配方法；为适应地形起伏较大的低空影像匹配，提出了ASIFT辅助的匹配方法[2]，试验结果表明可一定程度上满足宽基线大倾角的近景影像和山区低空影像匹配的需要，但运算复杂度较高；文献[62]提出了融合互补仿射不变特征的倾斜立体影像高精度自动配准方法。然而，目前大都仿射不变性的影像匹配研究常把地面视为平坦地形来表述其几何变形，等效于影像的整体仿射变换。在低空倾斜摄影测量中，平台飞行高度低地形起伏相对较大，其引起的影像几何变形会严重影响匹配性能[63]，采用单一的仿射变化关系可能难以表述立体像对间各个局部的扭曲变化，已不适用于地表建筑物高低错落、山区等复杂地形下低空倾斜摄影测量影像匹配。
对于诸如低空倾斜立体像对匹配所涉及的影像，因视点变化较大，利用仿射变换而非透视变换来表述特征进行匹配易失败，相关研究主要集中在计算机视觉处理方面。考虑透视变换关系特征提取算法具有代表性主要有：文献[64]提出了透视不变性的特征匹配，通过构建立体像对三维表面建立透视不变特征描述子进行影像匹配，在对象较为简单的计算机视觉影像匹配可以得到较好的效果；文献[65]提出了三维特征的格网匹配算法；文献[66]提出了透视不变性特征点检测算法，但主要用在平面目标对象的处理；文献[67]提出了基于透视投影的完全仿射不变性的影像匹配方法，通过模拟摄影机在三维空间姿态变换构建透视变换的视图来匹配影像，这种算法类似ASIFT，把ASIFT算法中仿射变换替换为透视变换，在平面摄影对象效果较好，但仍未解决地形起伏较大时影像几何变形给匹配带来的影响。
4 基于深度学习的影像匹配
当前，以卷积神经网络CNN(convolutional neural networks)为代表的深度学习已广泛应用于图像处理[68-69]，基于CNN的方法不仅可以提高图像识别和分类的准确度，且能够提高在线操作的效率，更重要的是，深层语义特征可通过深度学习来提取。2015年以来，研究人员开始将深度学习应用到密集立体匹配中，并且在计算机视觉图像上获得的匹配结果在准确性上已逐渐超过传统方法。
基于CNN的密集匹配方法通常使用两种策略：①从图像到视差图像的端到端预测；②应用CNN来学习立体匹配过程，如MC-CNN网络[68, 70]将匹配自动化；SGM-Net[71]在基于半全局SGM的密集匹配的标准流程中引入CNN学习惩罚约束。利用端到端的学习策略直接根据立体像对预测视差图像，如DispNet[72]这一典型的全卷积网络(FCN)在编码阶段逐层提取立体图像的高级特征，在解码阶段网络将特征图从粗糙图像分辨率恢复到原始图像分辨率以生成视差图。GC-Net[73]充分利用像素之间的几何信息和语义信息，考虑上下文信息的3D体积由2D CNN提取的视差交叉的2D特征图组成，由一系列3D内核进行卷积将这些特征图转化为2D视差图像。PSM-Net(pyramid stereo matching network)[74]是由空间金字塔池和3D卷积层组成的金字塔立体匹配网络，它将全局背景信息与立体匹配结合，实现了对遮挡区域，无纹理区域或图案重复区域的稳健匹配。级联残差学习[75]方法连接两个改进的DispNet网络，第1个网络获得立体像对之间的初始视差值，第2个网络使用前一阶段的残差来训练更精细的视差图。上述基于深度的学习方法是以监督样本进行训练，需要高精度视差图作为训练的标签。
尽管基于深度学习的立体方法已被应用到计算机视觉图像的匹配中，且与传统方法相比取得了更好的效果，但受限于卷积运算量大等制约因素并未广泛应用到低空摄影测量影像匹配中，随着硬件并行运算进一步发展与算法的改进，基于深度学习等人工智能算法也将应用在摄影测量数据处理中。
5 结束语
近年来，以无人机为代表的低空摄影测量迅速发展，立体影像匹配技术也取得了长足的进步，传统的基于灰度与特征的影像匹配方法已较为成熟，并广泛应用于低空摄影测量影像匹配，然而，面对深度学习等人工智能新方法及新型的低空摄影测量方式的出现，影像匹配的发展还远未成熟，低空摄影测量影像匹配仍然是国内外的研究热点之一。
多平台多角度自由飞行的低空摄影测量给后期数据处理带来了新的挑战，现有算法侧重于旋转、平移、尺度、仿射变换等影像变换的处理，而对复杂地形条件下宽基线大视角摄影测量，尤其是对丘陵、山地等复杂地形造成的影像局部几何变形、灰度压缩或夸张等复杂变化的影像匹配处理还有待提升。
异源多传感器低空摄影数据融合对影像匹配提出了新的要求，影像特征差异较大，传统基于人工设计的特征可能无法提取深层次和具有语义的共轭特征，如何顾及多传感器数据的空间代表性差异，挖掘它们之间的相关性与非线性映射关系，并实现影像匹配，是一个重要的发展趋势。尽管当前以深度学习为代表的人工智能算法在计算机视觉图像匹配中取得了较好的效果，但低空摄影测量影像匹配数据量大、精度要求高，基于深度学习的人工智能算法在低空摄影测量影像匹配中仍需进一步探讨和发展。
【引文格式】陈晓勇, 何海清, 周俊超, 等. 低空摄影测量立体影像匹配的现状与展望. 测绘学报，2019，48(12)：1595-1603. DOI:
10.11947/j.AGCS.2019.20190466
本文暂时没有评论，来添加一个吧(●'◡'●)