基于光谱-空间残差网络模型的高光谱遥感图像分类

Posted 2021-04-07 地理信息世界GeomaticsWorld

作 者 信 息

韦春桃，肖博林，李倩倩，白　风，卢志豪

（重庆交通大学　土木工程学院，重庆　400074）

“

【摘要】残差网络是近几年提出的一种新型深度卷积网络，通过增加网络深度提高分类的准确率，也解决了网络退化问题。基于残差学习原理，设计了针对高光谱遥感图像分类的光谱-空间残差网络模型。首先，将原始高光谱遥感数据三维立方体输入网络模型，并使用特定的卷积核对光谱特征进行降维；然后，利用光谱残差模块和空间残差按模块分别且连续地学习光谱和空间特征；最后，对提取到的特征进行池化操作并分类。此外，为规范训练数据和防止过拟合，学习过程中使用了批量归一化和dropout的方法。所设计网络模型在Indian Pines和Pavia U数据集上进行了验证实验，结果表明，所提方法有效地缓解了网络退化的问题，且在分类精度上也高于支持向量机、卷积神经网络等现有算法。

【关键词】高光谱遥感图像分类；残差网络模型；特征提取；批量归一化；dropout

【中图分类号】P237 【文献标识码】A 【文章编号】1672-1586（2020）03-0042-07

”

引文格式：韦春桃，肖博林，李倩倩，等. 基于光谱-空间残差网络模型的高光谱遥感图像分类[J].地理信息世界,2020,27(3):42-48.

正文

0　引　言

高光谱遥感又称成像光谱遥感，是将成像技术和光谱技术相结合的多维信息获取技术。高光谱遥感数据因其有着丰富的光谱信息和地物空间分布信息，极大地提高了识别和区分各类地物的能力。目前，高光谱遥感已在社会生活各个方面都凸显出了巨大的研究潜力，在精细农业、地质调查、生态建设、海洋遥感、军事侦察等方面具有重要的研究价值和意义。 

基于高光谱遥感图像“图谱合一”的性质，对其进行有效分类是获取地物信息的一种重要手段。传统的基于像元的高光谱遥感图像分类单从各类地物的光谱特征出发，与数据库光谱进行匹配识别，实现地物的分类。但是由于地物光谱库的局限性，并不是一种通用的方法。此外，混合像元的存在势必会带来一定的分类误差，所以后来出现了基于“端元”的高光谱图像分类，即将混合像元分解为不同的基本组分单元，利用亚像元空间定位技术进行分类。

对空间信息利用不足导致高光谱遥感图像分类遇到瓶颈，所以之后基于谱空信息联合的分类方法越来越受到学者的重视。付琼莹根据图理论，联合高光谱影像空谱信息，提出一种半监督极限学习机分类算法，提高了小样本下的高光谱影像的分类精度。支持向量机（Support Vector Machine，SVM）因其对高维度敏感性低，具有一定的鲁棒性。绽琨等利用高光谱图像的固有反照率特征机制（Albedo Recovery Mechanism，ARM）来挖掘空间语义信息，再使用支持向量机对恢复的内部反照率进行分类，达到了较为先进的分类性能。绽琨等采用因子分析来学习有效的光谱和空间特征，并将大边际分布机（Large-margin Distribution Machine，LDM）应用于高光谱遥感图像分类，实现了比SVM更好的分类效果。

近年来，随着深度学习的蓬勃发展，尤其是卷积神经网络（Convolutional Nearal Network，CNN）及其扩展在计算机视觉任务中异军突起，高光谱遥感图像分类迎来了新的发展机遇。胡伟等第一次将CNN模型引入高光谱图像分类任务中，但是仅利用了高光谱图像的光谱信息。Chen等基于CNN的有限元模型，提出了一种深度特征提取方法，以提取高光谱遥感图像的空谱特征。但是随着网络深度的增加，CNN存在过拟合和网络退化等问题，其中网络退化一直是一个难以突破的难题。何恺明等提出的残差网络很好地解决网络退化问题，并从数学原理上对其进行了阐释。宋微微等提出了一种深度特征融合网络（Deep Feature Fusion Network，DFFN），并引入残差学习来对卷积层进行优化，增加网络深度的同时也简化了网络训练过程，进一步提高分类精度。

因此，本文旨在利用残差学习的原理来进行高光谱遥感图像的分类，设计了基于光谱特征和空间特征的两种残差学习模块，分别且连续地学习原始高光谱数据的光谱信息和空间信息，并使用批量归一化（Batch Normalization，BN）方法提升训练数据的规范性，使用dropout方法防止网络过拟合。在训练中适当增加了网络的隐藏层层数，学习更多的特征。由于残差学习模块的存在，并没有出现网络退化的现象，精度也有所上升。

1　残差学习原理与残差学习模块

1.1 残差学习原理 

就近几年深度学习应用于图像识别和分类的发展趋势来看，似乎网络的深度越深，就越能取得更为先进的成果，如VGG网络就是基于AlexNex网络加以改进的，通过增加网络的深度来大幅度提高网络性能。那么是否通过简单地增加网络的深度就可以学习到更好的网络呢？何恺明博士就这一问题给出了解释。

随着网络深度的增加，会导致梯度弥散或爆炸，通过初始化或归一化的操作可以使其得以收敛，但是网络退化问题也会随之暴露出来。何恺明团队通过在CIFAR-10数据集上进行验证试验，发现56层网络比20层网络的表现效果还要差，即随着网络层数增加，网络的性能在训练集上达到饱和甚至下降了。这还不能解释为过拟合，因为过拟合本应在训练集上表现得更好，这也说明了网络越深并不代表其越容易优化。

为了解决网络退化问题，何恺明及其团队提出了一种深度残差学习框架。如图1所示为残差模块中的一个构件单元，在一般的恒等映射（假设H(X)=X）中添加一个“跳跃连接”结构，将实际的映射表示为H (X )=F (X )+X ，这样网络学习的目标就改变了，不再是去学习一个完整的输出，而是变为了求残差F(X)=H(X)-X，这样在训练时让残差F(X)趋于零会比去拟合一个恒等映射更加容易一些。

图1　残差模块中的一个构件单元

Fig.1 A component of the residual module

受上述启发，本文设计了两个残差学习模块，从原始的高光谱遥感图像三维立方体中分别且连续地提取光谱和空间特征，有效地缓解了网络退化导致的精度下降问题。

1.2 残差学习模块 

1.2.1 光谱残差模块 

如图2所示，所设计的光谱残差模块可以看作是两个卷积层的快速连接。此外，为了规范训练过程，对每一层采用了批量归一化（BN），公式如下：

式（1）为BN过程，式（2）为卷积过程。其中是 第l层经过批量归一化的结果；xl为第l+1层的输入特征向量；E(·)和Var(·)为输入特征向量的期望和方差函数；fl+1和bl+1分别表示第l+1层的卷积滤波器和偏置；g(·)为激活函数，即修正线性单元（Rectified Linear Unit，ReLU）。

图2　光谱残差模块

Fig.2 The spectral residual module

对于第l层后的滤波器f l +1的和第l +1层后的滤波器fl+2，分别使用大小为1×1×m的卷积核，m为光谱深度。这样做的目的是在保持空间输入大小不变的前提下，对光谱信息进行降维。假设光谱残差模块的函数为 F(lspectral;ω)，如下所示：

式中，lspectral为光谱残差模块中的第l层；xl为第l层 的k个输入特征，l={1,2,3…}，ω={fl+1,fl+2,bl+1,bl+2}为光谱残差模块中的卷积滤波器和偏置。 

1.2.2 空间残差模块

图3为空间残差模块，表示两个卷积层的快速连接，其功能是进行空间特征提取。批量归一化处理过程同光谱残差模块。

图3　空间残差模块

Fig.3 The spatial residual module

在两个连续的卷积层中分别使用k个大小为a×a×d的三维卷积核，d为其光谱深度，在空间残差模块中不参与计算，恒等于m。此外，使用边界填充策略使得输入特征与输出特征在空间大小上保持w×w不变。假设光谱残差模块的函数为F(lspatial;φ)，其中φ ={f＇l+1,f＇l+2, b＇l+1,b＇l+2},如下式所示：

2　网络框架

基于残差学习网络模型的高光谱遥感图像分类的整体框架，如图4所示，这里假设每一种数据集包含k个标记像素X={x1,x2,…,xk}和z个土地利用类别Y={y1,y2,…,yz}，以X中的标记像素为中心的邻域像素所组成的新的数据集Z={z 1,z2,…,zn}。本文提出的网络以数据中大小为w×w×d的三维立方体作为输入，其中w为卷积核的宽度，d为光谱深度。所有用于分类的数据被分成3组：训练组Z1、验证组Z2和测试组Z3，训练的目的即不断更新模型参数，直到模型能够对给定测试组Z3的地面真实标签Y（Ground T）做出最高精度的预测Y*。

图4　网络框架

Fig.4 Flow chart of technology

在建立了分类框架之后，使用训练组Z1和验证组Z2及标签向量集Y对模型进行不断的迭代训练。其中验证组Z2起着监督的作用，通过监测临时模型（训练阶段生成的中间网络）的分类性能来监控整个训练过程，从而选择性能最好的网络。在此过程中，通过反向传播机制对网络参数进行更新，具体使用的是交叉熵目标函数：

式中，Y = {y1,y2,…,yz}表示真实标签向量，表示预测标签向量。最后，利用测试组Z3对训练后的网络模型通过定量（计算分类指标）和定性（可视化分类结果）的方法来评估其分类结果。

3 实验与分析

3.1 实验数据集

实验所选用的数据集是西班牙巴斯克大学计算智能小组收集的Indian Pines和Pavia U数据集。其中，Indian Pines数据集是AVIRIS（机载可见光/红外成像光谱仪）传感器于1992年在印第安纳州西北部的测试场地上收集的场景，具有145×145个像素和224个光谱反射带，通过去除覆盖吸水区域的20多个频带，将频带数量减少到200个。其中可用的土地覆盖被指定为16个类别见表1，假彩色影像、地面真实标签、地物覆盖类别如图5所示。

表1 Indian Pines数据集场景类别及样本数量

Tab.1 The scene categories and sample size of Indian pines dataset

图5 Indian Pines数据集假彩色图像（左）、地面真实标签Ground T（中）、地物覆盖类别（右）

Fig.5 The Indian Pines dataset false color image (left), ground real label Ground T (middle), feature category (right)

Pavia U数据集是ROSIS传感器于1991年在意大利北部帕维亚上空飞行时拍摄的场景，有610×340个像素，空间分辨率是1.3 m，数据集场景类别及样本数量见表2。丢弃有噪声的频带之后，使用剩余的103个频带用于评估，共包含9种城市土地覆盖类型见表2，假彩色影像、地面真实标签以及地物覆盖类别如图6所示。

表2 Pavia U数据集场景类别及样本数量

Tab.2 The scene categories and sample size of Pavia U dataset

图6 Pavia U数据集假彩色图像（左）、地面真实标签Ground T（中）、地物覆盖类别（右）

Fig.6 Pavia U dataset false color image (left), ground real label Ground T (middle), feature category (right)

3.2 模型配置过程

3.2.1 特征学习过程

网络包括了原始输入三维立方体、光谱特征学习阶段、空间特征学习阶段、池化层和全连接层。模型配置过程如图7所示，原始输入高光谱遥感数据三维立方体的大小设计为7×7×200，使用1×1×m的卷积核对光谱特征进行降维。然后将输出立方体输入到连续的两个光谱残差模块进行光谱特征提取，再输入到连续的两个空间残差模块进行空间特征提取，特征提取过程中使用批量归一化（BN）规范训练数据，使用填充策略（PADDING）保持特征立方体的大小不变。在以上两个特征学习阶段结束之后，使用平均池化层（POOLING）对提取的光谱—空间特征进行池化操作。最后，使用全连接层（FC）生成一个与输入数据集地物覆盖类别数量相对应的输出向量。

图7　模型配置过程

Fig.7 Confifiguration process of the model

3.2.2 参数设置

在训练过程中，批处理大小（batch）设置为16，训练历元（epoch）设置为200，在每个配置过程中保留验证组中具有最高分类性能的模型，并且通过最优模型生成最后的分类结果。同时，对影响训练过程和分类性能的3个因素加以讨论，分别是卷积核数量、卷积核大小以及学习率。

卷积核数量可以理解为提取特征的数量，决定了网络的计算量和特征表示能力。一般情况下，卷积核数量越多特征表示能力越强，但参与计算的参数量也会随之增多，会给网络模型甚至是计算设备带来沉重的负担，实验所使用的卷积核的数量为24。

卷积核大小即为卷积核的尺寸，本文在特征学习过程中不同阶段使用了不同大小的卷积核，在光谱特征学习阶段使用的是1×1×m的卷积核，在空间特征学习阶段使用的是3×3的卷积核，并使用边界填充策略。

学习率决定着目标函数能否收敛，学习速率过大会发散，过小会使得收敛速度十分缓慢。根据验证结果来看，Indian Pines数据集的最佳学习率为0.000 3，Pavia U数据集的最佳学习率为0.000 1。 

3.3 精度评价方法 

对高光谱遥感图像分类进行评价指的是依据地面实况图来评估所分得结果的准确性。常用的评价方法主要有总体分类精度、各类精度、平均分类精度以及Kappa系数等。下面对这些评价指标进行具体的介绍。

1）总体分类精度（Overall Accuracy，OA）

总体分类精度（OA）等于被正确分类的像元总和除以总像元数。被正确分类的像元数目沿着混淆矩阵的对角线分布，总像元数等于所有真实参考源的像元总数。公式如下，hii为沿着混淆矩阵的对角线分布的被正确分类的像元数目，N为样本总数，n为类别数目。

2）各类分类精度（Class Accuracy，CA）

各类精度（CA）指的是每一类中被准确分类的像元占该类别总数的百分比，同样可以通过混淆矩阵求得，其中CAi表示第i类的分类精度，hij是原本属于第i类结果被分到了第j类的像元个数，公式如下：

3）平均分类精度（Average Accuracy，AA）

平均分类精度（AA）指的是每一类分类精度的平均值，即采用各个类别分类精度（CA）除以类别总量N，其公式如下：

4）Kappa系数

Kappa系数是一致性检验的一种指标。它是通过把所有真实参考的像元总数（N）乘以混淆矩阵对角线（hkk）的和，再减去各类中真实参考像元数与该类中被分类像元（hik,hkj）总数之积之后，再除以像元总数的平方减去各类中真实参考像元总数与该类中被分类像元总数之积对所有类别求和的结果。在高光谱遥感分类领域，它评价了分类图像和参考图像之间的一致性，一般认为kappa系数的值大于0.75时说明一致性比较高，当kappa系数的值小于0.4时说明一致性不理想。总之，kappa系数综合考虑了混淆矩阵中的各个因子，能比较全面地反映总体分类的精度，Kappa系数的值越大，代表相应的分类算法的精度越高。一般公式如下：

3.4 分类结果

本文所提方法与SVM、ARM、CNN、LDM以及DFFN方法进行对比实验，并调整到它们的最佳设置。在Indian Pines数据集中，随机分配20%、10%和70%的标记数据到训练组、验证组和测试组。由于Pavia U数据集中样本数量较多，所以其比例为10%、10%和80%。利用上述评价方法（OA、AA、CA、kappa）对分类结果进行判定。

表3和表4给出了本文所提方法与其他方法用于Indian Pines和Pavia U数据集分类的恒生指数。通过数据可以看出，本文所提出的方法在后3个恒生指数上都表现得极为出色，唯一不足之处是Indian Pines数据集中没能对燕麦类（第9类Oats）的样本作出准确的区分，导致该类的分类精度较低，但是Indian Pines数据集中其他类别的分类精度以及Pavia U数据集的整体精度都保持在最高的水平。

表3 Indian Pines数据集分类结果（定量分析）

Tab.3 Classifification results of the Indian Pines data set (quantitative analysis)

表4 Pavia U数据集分类结果（定量分析）

Tab.4 Classifification results of the Pavia U data set (quantitative analysis) 

图8和图9可视化了各分类方法的分类结果，与表3和表4中的定量分析比较符合。可以看出，不论是Indian Pines数据集，还是Pavia U数据集，SVM方法生成的分类图噪声较大，ARM方法相比SVM有了很大的提升。CNN产生了平滑的效果，但在某些类中仍然存在一些错分的现象，LDM方法取得了比CNN更好的效果。DFFN方法和本文所提方法均使用了残差学习的方法，有效缓解了精度下降的问题，分类效果进一步提高，但结合定量分析中3个恒生指数（OA、AA、KAPPA）的比较来看，显然是拥有光谱-空间残差学习模块的本文方法更胜一筹。同时，与其他方法相比，本文所提方法给出了最为准确的分类结果，基本接近于地面真实标签。

图8 Indian Pines数据集分类结果

Fig. 8 Classifification results of the Indian Pines data set

图9 Pavia U数据集分类结果

Fig.9 Classifification results of the Pavia U data set 

4　结束语

本文提出了一种基于残差学习网络模型的高光谱遥感图像分类方法，与其他学习模型相比有以下三大优势：

1）基于残差学习原理，在卷积层之间添加“跳跃连接”，有效地缓解了训练过程中出现的网络退化问题，增加网络深度的同时提高了分类精度。

2）所设计光谱残差模块和空间残差模块，根据光谱和空间信息的特点，使用不同的卷积核分别且连续地提取用于判别的特征。

3）使用批量归一化（BN）策略规范了训练过程。由于残差网络模型的连续性和较强的特征学习能力，也比较容易扩展到其他的遥感场景，比如可以用自定义数据集代替公开数据集来验证网络模型的泛化能力。

另外值得注意的是，在达到最高精度的同时，模型的训练时间也是不可控的，相比不含残差结构的CNN模型，训练所花费的时间反而增多。而且当使用更大的空间输入和空间卷积核时，容易出现核死亡的情况，这与实验所使用设备的性能也有一定的关系，也是今后需要深入研究和突破的地方，争取在实验条件允许的情况下，保证精度并减少时间上的开销。

本期回顾

时空大数据与新型城镇化研究

· 

· 

· 

· 

· 

· 

理论研究

· 

邮箱变更声明

·

网站开通公告

·

诚聘特约审稿专家

·

专题组稿

·