卷积神经网络在高光谱图像分类中的应用综述-莱森光学

目前，对于高光谱遥感图像分类任务，一种是采用传统的方法，例如利用光谱特征的分类方法和数据的统计特征的分类方法，包括常用的 K 近邻算法以及支持向量机（Support Vector Machine，SVM）。但是，传统的方法一方面是没有考虑到高光谱图像丰富的空间信息，导致特征提取不够完整；另一方面是大多数方法基于手工特征，需要人工判别和标注，会花费较多的人力和时间。传统的浅层学习方法的局限性在于：它主要是提取分类器所需要的特征，而且提取的特征是面向领域知识的，这些都会造成分类精度不佳。

近些年，一些深度学习模型也被应用在高光谱遥感图像分类中，如深度信念网络（Deep Belief Network，DBN）和栈式自编码器（Stacked Autoencoder，SAE）网络，但是这两个网络的局限性在于：均要求输入为一维向量，由于光谱信息本身为一维，需要对空间信息拉伸成一维向量，这样就会造成空间信息的丢失。而卷积神经网络（Convolutional Neural Network，CNN）通过局部连接有效提取特征，通过共享权值显著地减小参数量，而且它在图像分类、图像超分辨率重建、目标检测、医学图像处理等领域获得广泛应用，为卷积神经网络在高光谱遥感图像分类任务中的应用奠定了基础。

高光谱遥感图像分类

高光谱遥感图像分类概述

高光谱遥感图像利用成像光谱仪获取连续的、多波段狭窄的遥感图像。与普通的遥感图像相比，第一，它能达到纳米级别的分辨率，第二，它是一个能够充分反映地物目标的光谱特征的数据立方体，且包含丰富的空间信息和光谱信息。高光谱遥感图像分类的过程主要由数据输入、数据预处理、特征提取和特征选择、分类模型、精度评价、分类结果这几大步骤组成。

高光谱遥感图像分类存在的问题

高光谱遥感图像具有“图谱合一”的特点，同时包含大量的数据信息，具有巨大的信息潜力，但是如何从大量的信息中高效准确地完成分类任务，做到省时省力，一直是人们的研究热点，因此在解决这个问题时还有以下困难需要克服：

（1）缺乏大型、公开、已标记的数据集。

（2）小样本和高维度的问题。

（3）高维特性使数据的存储和处理变得困难。

卷积神经网络

卷积神经网络（CNN）广泛应用于图像处理和模式识别等方面。与 DBN和 SAE相比，CNN是高光谱图像分类使用最多的深度学习模型。卷积神经网络卷积层的工作原理是利用卷积核进行特征的提取，这种提取是自主完成的；而池化层的工作原理是对来自卷积层的数据进行下采样处理，这种方式的好处是使感受野变得更大，数据量被不断压缩，参数量明显降低；全连接层也是卷积神经网络很重要的部分，它的主要作用是将数据以一维的形式输出。

目前卷积神经网络有三种不同形式的卷积核，包括1D-CNN、2D-CNN、3D-CNN，它们具有相同的元素计算过程，都采用反向传播算法对网络的参数进行修改，并训练网络。对于高光谱遥感图像分类而言，它们的本质区别就是分别代表了不同形式的特征。基于CNN的分类方法主要是基于光谱特征、基于空间特征、基于空谱特征联合的方法。

基于光谱特征的分类方法

基于光谱特征的分类方法主要是利用一维卷积神经网络（1D-CNN）提取光谱特征，但它并非主流方法，其局限性在于：1D-CNN只能取到光谱向量，没有考虑空间信息，而高光谱图像中存在“同谱异物”和“异物同谱”现象，仅仅利用光谱信息分类难以得到较好的分类效果。

基于空间特征的分类方法

2D-CNN与1D-CNN最本质的区别在于2D-CNN 的卷积和池化都是二维的操作。利用2D-CNN可以提取高光谱遥感图像目标像素周围的局部空间信息。二维卷积操作的时候，采用的公式如下：

基于空谱特征联合的分类方法

基于空谱特征联合的分类方法，主要是结合高光谱图像丰富的光谱信息和不可或缺的空间信息完成分类 任务，一般有两种方法：

1. 1D+2D-CNN的空谱分类方法

2.基于3D-CNN的空谱分类方法

总结

随着遥感技术的不断更新发展，高光谱遥感图像应用也变得更加广泛，高光谱遥感图像分类一直是计算机领域和遥感领域的研究重点，这项工作具有良好的应用前景和较为扎实的理论基础。高光谱遥感图像分类这项基础性的重要工作如果完成得较好，将会对后续的高光谱遥感图像处理打下坚实基础，将会完成很多有意义的实际工作。本文对近几年卷积神经网络在高光谱遥感图像分类中的应用进行了总结和归纳：

（1）传统的高光谱图像分类方法，一方面只利用光谱信息进行分类，没有充分考虑高光谱遥感图像中所包含的丰富的空间信息，另外需要专家知识作基础，只能提取特定种类的浅层特征，丢失了空间信息的多样性；另一方面，模型的泛化能力不佳，普适性不强，因此分类效果不甚理想。

（2）卷积神经网络作为一种深度学习模型，能够处理原始数据和特定类标签之间的复杂关系，输入网络的数据在模型中进行训练，可以获取更深层次的光谱空间特征。比起早期使用的SAE网络和DBN网络要求输入为一维向量的限制，卷积神经网络能够处理二维甚至三维的数据，使得卷积神经网络成为完成高光谱图像分类任务常用的网络。从目前的方法来看，基于三维卷积神经网络的方法发展迅速，它充分考虑空间信息和光谱信息，使得高光谱图像的优势能够更好地发挥，另外结合注意力机制、迁移学习、混合网络等策略，很好地弥补了高光谱数据自身的高维特性、训练样本稀缺、数据非线性等缺点，更好地提升了分类效果。

欢迎关注公众号：莱森光学，了解更多光谱知识。

莱森光学（深圳）有限公司是一家提供光机电一体化集成解决方案的高科技公司，我们专注于光谱传感和光电应用系统的研发、生产和销售。