多粒度网络(MugNet)

高光谱遥感图像可能有数百或数千个波段，波段间相关性强，光谱分辨率高，波段维数高，信息冗杂增加，人工标注困难.深度学习参数数量多，网络结构复杂，依赖于大量的训练样本，所以在小规模的数据条件下利用深度学习对高光谱图像（HSI）分类，有学者提出了多粒度网络（MugNet） ：

使用多粒度扫描（多粒度扫描与特征提取过程相结合）；

半监督式生成分类网络；

构建更简单的网络结构—主成分分析网络（PCANet）。

• 图像预处理—滚动引导滤波（rolling guidance filtering）

用途：去除复杂背景，获取物体轮廓，便于图像分割。

优点：在移除和平滑图像中的复杂的小区域时，还能保证大区域物体边界的准确性，解决了双边滤波器或者高斯滤波器等在平滑纹理或区域细节时出现的物体轮廓或边界丢失的问题。

• 流程图中的方法

· （a）Spectral MugNet

输入为原始光谱向量，采用基S2PCANet的多粒度扫描的谱向量提取方法，选择多种尺寸的滑动窗口进行一维卷积，使用串联策略将所有提取的特征进行融合。

· （b）Spatial MugNet

输入为训练/测试样本周围的数据立方体。选取几种不同尺寸的滑动窗，从原始的HSI数据中提取具有代表性的特征。最后，利用向量叠加策略生成所有样本的最终特征表达式。

· (c)半监督主成分分析网络—S2PCANet

PCANet：一个基于CNN的简化Deep Learning模型，在这个框架中，首先通过PCA方法来学习多层滤波器，然后使用二值化哈希编码以及块直方图特征来进行下采样和编码操作。

· 输入层—预处理（块采样）

1 用k1*k2的窗口滑动选取每一个像素的局部特征

2 去平均（特征值中心化），得到输入数据矩阵X

· 卷积层—特征提取（PCA）

1 求X的协方差矩阵

2 提取协方差矩阵的前L1个最大特征值对应的特征向量来组成特征映射矩阵（fliter）

3 对每一张图片，都用L1做一次卷积

4 第二层卷积层同第一层

· 输出层—二值化哈希和块直方图

1 输出矩阵进行二值化处理，使其只包含1和0

2 哈希编码 ，使每个像素值都变为0-255之间的一个数，量化并加大各特征的差异。

3 对于第一层的每个输出矩阵，将其分为B块，计算统计每个块的直方图信息，将各个块的直方图特征进行串联，最终得到块扩展直方图特征

• MugNet分类

将光谱部分与空间部分相结合，可以得到基于MugNet的集成HSI分类。最后，用简单的线性支持向量机进行分类。

· 例子

备用数据集

1. Indian Pines

由位于印第安纳州西北部的机载可见光/红外成像光谱仪(AVIRIS)采集，空间分辨率20 m，大小为145*145像素，标记的10249个像素分为16类。

2.Grss_dfc_2013

于2012年在休斯敦大学校园及周边城区获得，空间分辨率2.5 m，大小为349*1905像素，标记的15029个像素都被分类成15类。

3. Grss_dfc_2014

空间分辨率为1m ，大小为795 *564像素，标记的22532个像素分为8类。

对于每一个数据集，每类随机选择20/20/50个样本进行训练，其余样本进行测试。

• 结果

· 光谱分类

设粒度为20*1，40 *1和60 *1，然后通过矢量叠加策略将提取到的不同纹理特征进行组合。

· 空间分类

将粒度设置为3* 3,5 *5和7*7

• 总结

· PCANet优点（在进行数据采集时，加入了块采样的操作）

1. 加入了像素的邻域信息升维；

2. PCA方法会产生降维（会损失原始数据的光谱特征），然而PCANet在效果上并没有表现降维反而升维，而有用的数据越多，越利于分类；

3. 只使用3个粒度进行集成

在每一粒度中，我们都要训练一定的网络。如果在MugNet中使用了太多的粒度，那么计算成本和内存使用将不允许。

如有错误欢迎指出！

图片来源于网络，侵权请联系删除！