(12)发明专利申请
(10)申请公布号 CN 109345476 A(43)申请公布日 2019.02.15
(21)申请号 201811094851.1(22)申请日 2018.09.19
(71)申请人 南昌工程学院
地址 330099 江西省南昌市高新技术开发
区天祥大道289号(72)发明人 邓承志 颜苏东 徐晨光 吴朝明
王军 田伟 汪胜前 (74)专利代理机构 北京德崇智捷知识产权代理
有限公司 11467
代理人 杨楠(51)Int.Cl.
G06T 5/00(2006.01)
权利要求书2页 说明书6页 附图3页
CN 109345476 A(54)发明名称
基于深度残差网络的高光谱图像超分辨率重建方法及装置(57)摘要
本发明公开了一种基于深度残差网络的高光谱图像超分辨率重建方法。本发明方法利用预先训练的深度残差网络进行高光谱图像的超分辨率重建；所述深度残差网络包含2M个相同的残
各残差块差块，每个残差块包含至少2个卷积层，
的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1,2,…,M。本发明还公开了一种基于深度残差网络的高光谱图像超分辨率重建装置。本发明可以有效地缓解高光谱图像训练样本少、单个样本数据量大、难以训练等问题，并且在一定程度上克服了硬件制造技术与成像环境对高光谱图像分辨率的限制。
CN 109345476 A
权 利 要 求 书
1/2页
1.一种基于深度残差网络的高光谱图像超分辨率重建方法，利用预先训练的深度残差网络进行高光谱图像的超分辨率重建；其特征在于，所述深度残差网络包含2M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1，2，…，M。
2.如权利要求1所述方法，其特征在于，所述深度残差网络在训练过程中所使用的训练样本通过以下方法得到：对高分辨率高光谱图像进行退化处理，得到对应的低分辨率高光谱图像；然后分别对高、低分辨率高光谱图像进行分块，每一对高、低分辨率高光谱图像块即为一个训练样本。
3.如权利要求1所述方法，其特征在于，M的值为4。4.如权利要求1所述方法，其特征在于，使用ADAM算法结合BP算法对所述深度残差网络进行训练。
5.如权利要求4所述方法，其特征在于，训练过程中各卷积层的权值矩阵W与偏置b的参数更新方式具体如下：
mt＝μ×mt-1+(1-μ)×gt
其中，t表示时间步长，gt表示时间步长t的梯度，mt是一阶有偏矩估计，nt是二阶有偏矩估计，是一阶偏差校正矩估计，是二阶偏差校正矩估计，ε是一个非常小的正数，η是学习率，μ、υ是矩估计的指数衰减率并且μ，υ∈[0，1)，θb)，参数矢量每次更新t是参数矢量(W、的增量为Δθt。
6.一种基于深度残差网络的高光谱图像超分辨率重建装置，包括预先训练的深度残差网络，用于进行高光谱图像的超分辨率重建；其特征在于，所述深度残差网络包含2M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1，2，…，M。
7.如权利要求6所述装置，其特征在于，所述深度残差网络在训练过程中所使用的训练样本通过以下方法得到：对高分辨率高光谱图像进行退化处理，得到对应的低分辨率高光谱图像；然后分别对高、低分辨率高光谱图像进行分块，每一对高、低分辨率高光谱图像块即为一个训练样本。
8.如权利要求6所述装置，其特征在于，M的值为4。9.如权利要求6所述装置，其特征在于，使用ADAM算法结合BP算法对所述深度残差网络进行训练。
2
CN 109345476 A
权 利 要 求 书
2/2页
10.如权利要求9所述装置，其特征在于，训练过程中各卷积层的权值矩阵W与偏置b的参数更新方式具体如下：
mt＝μ×mt-1+(1-μ)×gt
其中，t表示时间步长，gt表示时间步长t的梯度，mt是一阶有偏矩估计，nt是二阶有偏矩估计，是一阶偏差校正矩估计，是二阶偏差校正矩估计，ε是一个非常小的正数，η是学习率，μ、υ是矩估计的指数衰减率并且μ，υ∈[0，1)，θb)，参数矢量每次更新t是参数矢量(W、的增量为Δθt。
3
CN 109345476 A
说 明 书
1/6页
基于深度残差网络的高光谱图像超分辨率重建方法及装置
技术领域
[0001]本发明涉及一种图像超分辨率重建方法，尤其涉及一种高光谱图像超分辨率重建方法。
背景技术
[0002]高光谱遥感是当前遥感领域的前沿技术。高光谱成像设备在紫外至近红外的数百个光谱波段上进行连续地成像，采集到的高光谱图像含有丰富的空间和光谱信息，具有光谱连续、图谱合一的特性。它的每一个像元都可以提取出一条近似于连续的光谱曲线，用来反映该像元所对应地物的材料属性，因此，高光谱遥感技术在目标检测、环境监测、矿物勘探等军事或民用领域均体现出极高的应用价值。另外在医学成像中，通过高光谱成像技术获得的空间分辨光谱成像提供了关于组织生理学、形态学和组成的诊断信息。[0003]受成像条件和光学器件的影响，在高光谱图像的获取和处理过程中存在诸多问题：(1)一般高光谱图像具有较高的光谱分辨率和较低的空间分辨率，较低的空间分辨率大大限制了高光谱图像的实际应用。从硬件上来提高高光谱图像的分辨率代价高而效果提升不大，例如对成像光谱仪精度的提高、图像尺寸的缩小、单位面积内像素采集量的增加，都受到了当前的制造水平和物理规律的制约，从硬件上提高其分辨率较为困难、耗时耗力；(2)高光谱图像容易受到外界因素的影响，获取的图像空间分辨率低且存在出现大量的混合像素，导致图像质量下降、信息丢失，而图像质量衰退的过程是不规律的，这使图像的超分辨率重建更为困难。对图像的后续处理和使用带来了一定的问题，影响了应用的可靠性与准确性。(3)针对图像超分辨率病态(ill-posed)问题，人们提出了多种正则化方法，包括基于插值的方法、基于多帧图像的方法和基于样本学习的单帧图像超分辨率方法。这些方法在灰度图像或彩色图像上取得较好的重建效果，但是直接应用于高光谱图像重建效果并不理想。
发明内容
[0004]本发明所要解决的技术问题在于克服现有技术不足，提供一种基于深度残差网络的高光谱图像超分辨率重建方法，可以有效地缓解高光谱图像训练样本少、单个样本数据量大、难以训练等问题，并且在一定程度上克服了硬件制造技术与成像环境对高光谱图像分辨率的限制。
[0005]本发明所提出的基于深度残差网络的高光谱图像超分辨率重建方法，利用预先训练的深度残差网络进行高光谱图像的超分辨率重建；所述深度残差网络包含2M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1,2,…,M。
[0006]根据相同的发明思路还可以得到以下技术方案：
[0007]一种基于深度残差网络的高光谱图像超分辨率重建装置，包括预先训练的深度残
4
CN 109345476 A
说 明 书
2/6页
差网络，用于进行高光谱图像的超分辨率重建；所述深度残差网络包含2M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1,2,…,M。[0008]优选地，所述深度残差网络在训练过程中所使用的训练样本通过以下方法得到：对高分辨率高光谱图像进行退化处理，得到对应的低分辨率高光谱图像；然后分别对高、低分辨率高光谱图像进行分块，每一对高、低分辨率高光谱图像块即为一个训练样本。[0009]优选地，M的值为4。[0010]优选地，使用ADAM算法结合BP算法对所述深度残差网络进行训练。[0011]进一步优选地，训练过程中各卷积层的权值矩阵W与偏置b的参数更新方式具体如下：
[0012]mt＝μ×mt-1+(1-μ)×gt
[0013][0014][0015]
[0016][0017]
其中，t表示时间步长，gt表示时间步长t的梯度，mt是一阶有偏矩估计，nt是二阶有
偏矩估计，是一阶偏差校正矩估计，是二阶偏差校正矩估计，ε是一个非常小的正数，η是学习率，μ、υ是矩估计的指数衰减率并且μ,υ∈[0,1)，θb)，参数矢量每次t是参数矢量(W、更新的增量为Δθt。[0018]相比现有技术，本发明技术方案具有以下有益效果：
[0019]本发明针对高光谱图像特点及获取与处理过程中存在的问题，从软件方法着手，将深度残差网络引入高光谱图像的超分辨率重建，并以二进制指数方式的跳跃连接对深度残差网络模型进行改进，通过滑块卷积充分利用高光谱图像的空间相似性与邻谱间相似性有效地保持高光谱图像特征，深度网络模型的结构特点与卷积神经网络的权值共享能缓解数据量大、因网络模型深度加深带来的训练困难、空间与时间复杂度高等问题。附图说明
[0020]图1为传统深度残差网络结构示意图；
[0021]图2为Kim等人提出的VDSR网络结构示意图；
[0022]图3为本发明所提出深度残差网络一个具体实施例的结构示意图；[0023]图4为具体实施例中单个残差块的结构示意图。
具体实施方式
[0024]针对现有高光谱图像超分辨率重建技术的不足，本发明的思路是将深度残差网络引入高光谱图像的超分辨率重建，并以二进制指数方式的跳跃连接对深度残差网络模型进
5
CN 109345476 A
说 明 书
3/6页
行改进。该模型利用卷积神经网络优异的特征提取能力和权值共享特点及网络结构特点，有效地缓解了高光谱图像训练样本少，单个样本数据量大，训练困难等问题。并且训练出的深度残差网络模型具有强大的泛化能力和一定的迁移功能。在高光谱图像超分辨率重建过程中充分考虑高光谱图像的空间相似性与邻谱间相似性，在提升空间分辨率的同时保持光谱信息。
[0025]2014年Dong等人提出的SRCNN(三个的卷积层端对端连接)首次将卷积神经网络应用于图像超分辨率重建并取得不错的效果，性能优于传统方法；2015年He等人提出的ResNet分析网络可以通过扩展深度和宽度来提升性能但无法无限地加深加宽，达到饱和后，训练难度急剧上升且效果可能还会变差，而通过在网络中引入残差学习(跳跃连接)便可以克服这一问题，深度残差网络一经出世便在ImageNet中斩获图像分类、检测、定位三项的冠军。如图1所示为一般的残差网络结构示意图(包含三个残差块，引入了三个跳跃连接，每个残差块中有三个隐层)。对每个残差块，通常在对网络的训练过程中需要优化的是学习到的残差与输入之和，但是通过引入跳跃连接，可以将优化的目标转换为优化输出与输入之差(即残差)，在图像超分辨率重建中，残差则为高低分辨率中相差的高频细节信息，由于低频信息占大部分，残差矩阵中的值有很多为零，残差因而具有稀疏特性，在优化过程中降低了训练难度且使得收敛加快。[0026]受二者的启发，2016年Kim等人提出的VDSR网络，用于普通二维图像的超分辨率重建，如图2所示。该网络主线路为20层卷积层，并且引入残差学习方式，从网络输入端直接将输入连接到输出端(图2所示跳跃连接)与通过20层卷积层学习到的残差求和后得到高分辨率图像。由于VDSR是针对二维图像做处理的，将VDSR直接拿来做高光谱图像的超分辨率重建并不合适，需要同时考虑高光谱图像的空间特性和谱特性。引入残差学习这一方式，相对于没有残差的情况可以将网络的深度扩展至更深使网络性能得到不错的提升，结合卷积神经网络的特性，减少了网络参数，避免在训练时因网络深度加深带来的梯度消失和梯度爆炸，收敛更快。此外，VDSR只引入了一个跳跃连接，而在网络搭建过程中，通过对跳跃连接的引入方式进行设计可以更好的利用残差学习的优点，使得网络性能得到进一步提升。[0027]本发明在将深度残差网络引入高光谱图像超分辨率重建的同时，以二进制指数方式的跳跃连接对传统深度残差网络进行了改进。具体而言，本发明所提出的基于深度残差网络的高光谱图像超分辨率重建方法，利用预先训练的深度残差网络进行高光谱图像的超分辨率重建；所述深度残差网络包含2M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1,2,…,M。
[0028]为了便于公众理解，下面以一个具体实施例来对本发明技术方案进行详细说明：本实施例中的高光谱图像超分辨率重建过程具体包括如下步骤：[0029]步骤1、生成训练样本集：
[0030]本发明优选采用以下方式生成训练样本集：对高分辨率高光谱图像进行退化处理，得到对应的低分辨率高光谱图像；然后分别对高、低分辨率高光谱图像进行分块，每一对高、低分辨率高光谱图像块即为一个训练样本。本实施例中采用以下方式：[0031]1-1.取高光谱数据集，在数据集上建立低分辨率图像和高分辨率图像对，原图像
6
CN 109345476 A
说 明 书
4/6页
作为高分辨率图像，对原图像进行高斯核模糊下采样和插值处理得到低分辨率图像；[0032]1-2.设置图像块尺寸及滑块步长，在高-低分辨率图像对上通过滑块获取图像块并保存相应的高、低分辨率图像块对。[0033]步骤2、构建深度残差网络模型：
[0034]本发明所构建的深度残差网络包含2M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1,2,…,M。
[0035]图3显示了本发明深度残差网络的一个实例，其采用三维卷积神经网络来构建深度残差网络。如图3所示，该深度残差网络由一个输入层、16个隐层、一个输出层构成；16个隐层由4个4层卷积层组成，每4层卷积层作为一个残差块(其结构如图4所示)，超参数一致，并实现权值共享，每个残差块都具有一个从该残差块输入到该残差块输出的跳跃连接。除此以外，如图3所示，在所述深度残差网络的前向传播过程中还分别以2、4个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接。[0036]步骤3、利用训练样本集来训练所构建的深度残差网络模型，学习低分辨率图像到高分辨率图像的映射关系：
[0037]本实施例中的训练过程具体如下：
[0038]3-1.首先将训练样本集中的高-低分辨率图像对表示为(x1,y1),(x2,y2)…(xi,yi)…(xn,yn),其中yi是xi对应的高分辨率图像；i＝1,2，…n，作为输入。[0039]3-2.为学习到低分辨率图像到高分辨率图像的映射关系，对于第1个残差块，含有一个跳跃连接(来自第一个残差块的输入)。其目标函数E如公式1所示：
[0040][0041]
其中n为训练样本数，Y表示高分辨率图像(由y1,y2,…,yi,…,yn组成)，为第1个
残差块的输出，可表示为F(X)，X为低分辨率图像(由x1,x2,…,xi,…,xn组成)，h、w、c分别为训练样本的长、宽和通道数,i＝1,2，…n。并且有：
[0042]
[0043]其中f(x)＝max(0,x)为ReLU函数，表示第i个训练样本经过第1个残差块预测
输出的图像块，W和b分别表示第1个残差块内四个卷积层的权重与偏置，h为隐层输出。[0044]3-3.为学习到低分辨率图像到高分辨率图像的映射关系，对于第2个残差块，含有两个跳跃连接(分别来自第一个与第二个残差块的输入)。其目标函数E′如公式3所示：
[0045][0046]
其中n为训练样本数，Y表示高分辨率图像(由y1,y2,…,yi，…，yn组成)，为第2个
残差块的输出，可表示为F′(X)，X为低分辨率图像(由x′x′…，x′…，x′h、w、c1，2，i，n组成)，分别为训练样本的长、宽和通道数,i＝1,2，…n。并且有：
7
CN 109345476 A
说 明 书
5/6页
[0047]
[0048]其中f(x)＝max(0,x)为ReLU函数，表示第i个训练样本经过第2个残差块预测
输出的图像块，W′和b′分别表示第2个残差块内四个卷积层的权重与偏置,h′为隐层输出。[0049]3-4.为学习到低分辨率图像到高分辨率图像的映射关系，对于第3个残差块，含有一个跳跃连接(来自第三个残差块的输入)。其目标函数E″如公式5所示：
[0050][0051]
其中n为训练样本数，Y表示高分辨率图像(由y1,y2,…,yi,…,yn组成)，为第3个
残差块的输出，可表示为F″(X)，X为低分辨率图像(由x″…,x″h、w、c1,x″2,…,x″i，n组成)，分别为训练样本的长、宽和通道数,i＝1,2，…n。并且有：
[0052]
[0053]其中f(x)＝max(0，x)为ReLU函数，表示第i个训练样本经过第3个残差块预测
输出的图像块，W″和b″分别表示第3个残差块内四个卷积层的权重与偏置,h″为隐层输出。[0054]3-5.为学习到低分辨率图像到高分辨率图像的映射关系，对于第4个残差块，含有三个跳跃连接(分别来自第一个、第三个与第四个残差块的输入)。其目标函数E″′如公式7所示：
[0055][0056]
其中n为训练样本数，Y表示高分辨率图像(由y1，y2，…，yi，…，yn组成)，为网络
预测输出，可表示为F″′(X)，X为低分辨率图像(由x″′′′′h、w、c1,x″2,…,x″i,…,x″n组成)，
分别为训练样本的长、宽和通道数,i＝1,2，…n。并且有：
[0057]
[0058]其中f(x)＝max(0,x)为ReLU函数，分别表示第i个训练样本在第4个残差
块的输入与预测输出图像块,W″′和b″′分别表示第4个残差块内四个卷积层的权重与偏置,h″′为隐层输出。
[0059]3-6.对于深度残差网络模型参数，每个残差块各卷积层的权值矩阵与偏置W＝{W1,W2,W3,W4}，b＝{b1，b2,b3,b4}，对其进行随机初始化，并使它们服从高斯分布；[0060]3-7.采用Adaptive moment estimation(ADAM)和标准Back propagation(BP)算法对目标函数E进行优化，优化完成后，hi即为经过卷积层提取的特征。
8
CN 109345476 A[0061][0062][0063][0064][0065][0066][0067]
说 明 书
6/6页
对目标函数E优化过程中，参数W与b的更新方式如下公式：mt＝μ×mt-1+(1-μ)×gt (公式9)
其中t表示时间步长，gt表示时间步长t的梯度，mt是一阶有偏矩估计，nt是二阶有
偏矩估计，是一阶偏差校正矩估计，是二阶偏差校正矩估计，ε是一个非常小的正数(防止公式13中分母为零)，η是学习率，μ、υ是矩估计的指数衰减率并且μ，υ∈[0,1)，计算得
θb)，参数矢量每次更新的增量为Δθ本具体实施例中各参数的默认值设t是参数矢量(W、t，置为：η＝0.001，μ＝0.9，υ＝0.999，ε＝1e-08。[0068]3-8.训练结束，得到训练好的深度残差网络模型。[0069]步骤4、取待重建的低分辨率高光谱图像，通过训练好的深度残差网络模型重建出超分辨率高光谱图像。
9
CN 109345476 A
说 明 书 附 图
1/3页
图1
图2
10
CN 109345476 A
说 明 书 附 图
2/3页
图3
11
说 明 书 附 图
图4
12
3/3页
CN 109345476 A
因篇幅问题不能全部显示，请点此查看更多更全内容