基于SwinIR的高光谱遥感图像去噪方法.pdf

上传人:徐敬 文档编号:14249521 上传时间:2023-11-18 格式:PDF 页数:15 大小:903.38KB
收藏 版权申诉 举报 下载
基于SwinIR的高光谱遥感图像去噪方法.pdf_第1页
第1页 / 共15页
基于SwinIR的高光谱遥感图像去噪方法.pdf_第2页
第2页 / 共15页
基于SwinIR的高光谱遥感图像去噪方法.pdf_第3页
第3页 / 共15页
文档描述:

《基于SwinIR的高光谱遥感图像去噪方法.pdf》由会员分享,可在线阅读,更多相关《基于SwinIR的高光谱遥感图像去噪方法.pdf(15页完成版)》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310762260.1(22)申请日 2023.06.27(71)申请人 南京信息工程大学地址 210032 江苏省南京市江北新区宁六路219号(72)发明人 丰硕陆振宇(74)专利代理机构 南京经纬专利商标代理有限公司 32200专利代理师 杨欣怡(51)Int.Cl.G06T 5/00(2006.01)G06N 3/0464(2023.01)G06N 3/048(2023.01)G06N 3/08(2023.01)G06T 7/10(2017.01)(54)发明名称一种基于SwinIR的。

2、高光谱遥感图像去噪方法(57)摘要本发明公开了一种基于SwinIR的高光谱遥感图像去噪方法,本发明将SwinIR基础网络中单一二维空间尺度的卷积改进为二维与三维卷积拼接,并通过协调注意力机制融合空间特征与光谱特征,以此来充分获得高光谱图像的不同维度信息;采用三维光谱图像编码,并添加自适应池化层将空间编码与光谱编码结合得到整体编码,以确保重构高光谱图像的光谱连续性;采用空间重构残差,将空间重构图像与整体编码重构图像结合来防止最终去噪后的高光谱图像的失真。本发明充分利用了高光谱图像不同维度的信息,并提高了含噪声高光谱图像的图像质量。权利要求书2页 说明书7页 附图5页CN 116503292 A2。

3、023.07.28CN 116503292 A1.一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,针对高光谱图像,执行如下步骤S1步骤S4,完成高光谱图像的去噪:步骤S1:采集预设数量的高光谱图像,其中包括纯净高光谱图像和噪声高光谱图像,对所采集的所有高光谱图像进行预处理,预处理后的各高光谱图像均包含噪声,并根据预设比例将预处理后的高光谱图像划分为训练集和测试集;步骤S2:构建高光谱图像去噪网络模型,该模型以预处理后的高光谱图像为输入,以重构的纯净高光谱图像为输出,高光谱图像去噪网络模型包括改进后的SwinIR网络、空间信息与光谱信息提取模块、协调注意力模块、空间信息编码与光谱信息编。

4、码融合模块、残差图像重构模块;步骤S3:针对高光谱图像去噪网络模型,以训练集中的各高光谱图像为输入,以重构的纯净高光谱图像为输出,应用损失函数对高光谱图像去噪网络模型进行预设次数的训练,获得训练完成的高光谱图像去噪网络模型;步骤S4:将测试集中的各高光谱图像输入训练完成的高光谱图像去噪网络模型,获得测试集中的各高光谱图像对应的重构的纯净高光谱图像,并针对去噪结果进行评价。2.根据权利要求1所述的一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,步骤S1中所述的预处理包括以下步骤S11步骤S12:步骤S11:针对纯净高光谱图像,手动添加不同强度的噪声,并通过缩放、随机旋转进行数据增强,针。

5、对噪声高光谱图像,进行随机旋转;步骤S12:将步骤S11所获得的各高光谱图像进行裁剪,统一为64*64大小。3.根据权利要求2所述的一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,步骤S2中所述改进后的SwinIR网络将SwinIR基础网络的浅层特征提取的3*3卷积替换为空间信息与光谱信息提取模块,以提取高光谱图像的二维空间特征和三维光谱特征;所述空间信息与光谱信息提取模块包括二维卷积层Conv_2d、三维卷积层Conv_3d_1、三维卷积层Conv_3d_2,并对三者进行卷积拼接,以提取不同尺度的空间特征矩阵及光谱特征矩阵;所述协调注意力模块采用平均池化、卷积、规范化、非线性层的方。

6、法,融合不同尺度的空间特征矩阵及光谱特征矩阵,捕获远程依赖关系并保留位置信息,获得整体特征矩阵;所述空间信息编码与光谱信息编码融合模块首先针对整体特征矩阵采用二维步长进行编码,获得整体特征向量,其次引入三维编码方法,采用三维步长对步骤S1所获得的预处理后的高光谱图像进行三维特征编码,得到光谱特征向量,引入自适应池化层,融合不同长度的整体特征向量、光谱特征向量,得到编码向量;所述残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像采用卷积Conv_first进行空间特征提取后直接进行编码重构,获得残差图像;其次通过编码向量重构得到整体图像,将残差图像和整体图像根据预设权重结合,再采用反卷积。

7、Conv_last,最终获得重构的纯净高光谱图像。4.根据权利要求3所述的一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,步骤S2中所述的空间信息与光谱信息提取模块包括空间二维卷积、光谱三维卷积、卷积拼接过程,具体过程如下:所述空间二维卷积采用3*3二维卷积层Conv_2d提取高光谱图像的空间信息,获得空间权利要求书1/2 页2CN 116503292 A2特征矩阵;所述光谱三维卷积采用并行的两个相同通道不同卷积核大小的三维卷积层,即分别采用C*3*3的三维卷积层Conv_3d_1和C*7*7的三维卷积层Conv_3d_2提取高光谱图像的光谱信息,获得两个光谱矩阵,其中C表示光谱维度。

8、;所述卷积拼接是将分别经过三维卷积层Conv_3d_1和三维卷积层Conv_3d_2卷积后的两个光谱矩阵根据通道维度相加,得到光谱特征矩阵。5.根据权利要求4所述的一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,步骤S2中所述的协调注意力模块首先对光谱特征矩阵进行batch维度降维,将降维后的光谱特征矩阵与空间特征矩阵进行拼接,获得维度为C*H*W的光谱特征与空间特征拼接矩阵,其中C为光谱维度,H和W分别为高度和宽度,将光谱特征与空间特征拼接矩阵作为输入,依次经过并行的平均池化层、整体二维卷积层、整体规范化层和非线性层,最后由并行sigmoid激活函数输出,得到融合后的整体特征矩阵。。

9、6.根据权利要求5所述的一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,步骤S2中所述的空间信息编码与光谱信息编码融合模块包括二维空间信息编码、三维光谱信息编码以及编码融合;所述二维空间信息编码采用4*4的二维步长对整体特征矩阵进行分割、编码,提取空间信息,获得整体特征向量;所述三维光谱信息编码采用2*2*2的三维步长对步骤S1所获得的预处理后的高光谱图像进行分割、编码,提取光谱信息,获得光谱特征向量;所述编码融合是将整体特征向量和光谱特征向量连接后,分别通过并行的自适应平均池化层和自适应最大池化层,得到长度统一的平均池化向量和最大池化向量,并将二者相加,再经过sigmoid激活函数。

10、输出,最终得到编码向量。7.根据权利要求6所述的一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,步骤S2中所述的残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像进行3*3的卷积Conv_first,然后使用4*4步长编码后进行图像重构,获得残差图像;其次通过编码向量重构得到整体图像,将残差图像和整体图像根据预设权重结合,并对其进行3*3的反卷积Conv_last,最终获得重构的纯净高光谱图像;所述图像重构的过程为:编码后的向量首先通过归一化层,再通过多头自注意力机制,在多头自注意力机制后引入残差,再通过归一化层,最后通过多层感知机,并在其结尾同样引入残差。8.根据权利要求7。

11、所述的一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,步骤S3中所应用的损失函数如下式:式中,L1_Charbonnier_loss表示损失函数,y表示步骤S1所获得的预处理后的高光谱图像,x表示去噪后的重构的纯净高光谱图像,为常数项,取值为。9.根据权利要求8所述的一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,步骤S4中去噪结果进行评价的指标为:峰值信噪比、结构相似性、光谱角度匹配。权利要求书2/2 页3CN 116503292 A3一种基于SwinIR的高光谱遥感图像去噪方法技术领域0001本发明涉及人工智能高光谱遥感图像处理领域,具体涉及一种基于SwinIR的高光谱。

12、遥感图像去噪方法。背景技术0002随着遥感成像技术和智能解译算法的快速发展,遥感图像已成为各种应用中不可或缺的资源,如土地资源调查、农林监测、城市规划和军事预警。与其他类型的遥感数据相比,高光谱图像以其丰富的空间和光谱信息具有巨大的优势。然而,由于在高光谱图像的采集、存储和传输过程中,真实的高光谱图像通常会不可避免地受到各种噪声的影响,噪声会严重降低高光谱图像的质量,从而影响后续特征提取和理解任务的性能,例如高光谱图像分解、特征学习、分类和目标检测。因此,消除噪声引起的退化是其他任务之前的首要和关键问题。0003为了解决这个问题,现有的方法主要可以分为三类:基于滤波器的方法、基于优化的方法和基。

13、于深度学习的方法。但是前两种方式严重依赖于先验知识及手动设计的特性,需要通过多次人工优化迭代,非常耗时。0004近年来,深度学习方法在许多计算机领域得到了应用,并取得了革命性的成就。相比之下,基于深度学习的去噪方法可以更灵活、更有效地利用深度学习的能力解决高光谱图像去噪问题。虽然基于深度学习的方法在高光谱图像去噪方面取得了令人印象深刻的性能,但目前利用深度学习进行高光谱图像去噪方法主要基于卷积神经网络(CNN),它们仍然没有充分挖掘光谱维度信息矫正。0005SwinIR 网络解决了计算机视觉(ComputerVision,CV)领域的两个问题:分辨率不足和计算复杂度过大,但其应用场景为单通道灰。

14、度图像或三通道RGB图像超分辨率任务,无法提取更高维度图像特征信息,因此对于除空间信息外还含有多个光谱维度的高光谱图像去噪任务并不适用。发明内容0006本发明目的:在于提供一种基于SwinIR的高光谱遥感图像去噪方法,该方法能够更充分地提取高光谱图像空间维度与光谱维度的特征,使网络适用于各种高光谱图像,并提高了噪声高光谱图像质量。0007为实现以上功能,本发明设计一种基于SwinIR的高光谱遥感图像去噪方法,针对高光谱图像,执行如下步骤S1步骤S4,完成高光谱图像的去噪:步骤S1:采集预设数量的高光谱图像,其中包括纯净高光谱图像和噪声高光谱图像,对所采集的所有高光谱图像进行预处理,预处理后的各。

15、高光谱图像均包含噪声,并根据预设比例将预处理后的高光谱图像划分为训练集和测试集;步骤S2:构建高光谱图像去噪网络模型,该模型以预处理后的高光谱图像为输入,以重构的纯净高光谱图像为输出,高光谱图像去噪网络模型包括改进后的SwinIR网络、空说明书1/7 页4CN 116503292 A4间信息与光谱信息提取模块、协调注意力模块、空间信息编码与光谱信息编码融合模块、残差图像重构模块;步骤S3:针对高光谱图像去噪网络模型,以训练集中的各高光谱图像为输入,以重构的纯净高光谱图像为输出,应用损失函数对高光谱图像去噪网络模型进行预设次数的训练,获得训练完成的高光谱图像去噪网络模型;步骤S4:将测试集中的各。

16、高光谱图像输入训练完成的高光谱图像去噪网络模型,获得测试集中的各高光谱图像对应的重构的纯净高光谱图像,并针对去噪结果进行评价。0008作为本发明的一种优选技术方案:步骤S1中所述的预处理包括以下步骤S11步骤S12:步骤S11:针对纯净高光谱图像,手动添加不同强度的噪声,并通过缩放、随机旋转进行数据增强,针对噪声高光谱图像,进行随机旋转;步骤S12:将步骤S11所获得的各高光谱图像进行裁剪,统一为64*64大小。0009作为本发明的一种优选技术方案:步骤S2中所述改进后的SwinIR网络将SwinIR基础网络的浅层特征提取的3*3卷积替换为空间信息与光谱信息提取模块,以提取高光谱图像的二维空间。

17、特征和三维光谱特征;所述空间信息与光谱信息提取模块包括二维卷积层Conv_2d、三维卷积层Conv_3d_1、三维卷积层Conv_3d_2,并对三者进行卷积拼接,以提取不同尺度的空间特征矩阵及光谱特征矩阵;所述协调注意力模块采用平均池化、卷积、规范化、非线性层的方法,融合不同尺度的空间特征矩阵及光谱特征矩阵,捕获远程依赖关系并保留位置信息,获得整体特征矩阵;所述空间信息编码与光谱信息编码融合模块首先针对整体特征矩阵采用二维步长进行编码,获得整体特征向量,其次引入三维编码方法,采用三维步长对步骤S1所获得的预处理后的高光谱图像进行三维特征编码,得到光谱特征向量,引入自适应池化层,融合不同长度的整。

18、体特征向量、光谱特征向量,得到编码向量;所述残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像采用卷积Conv_first进行空间特征提取后直接进行编码重构,获得残差图像;其次通过编码向量重构得到整体图像,将残差图像和整体图像根据预设权重结合,再采用反卷积Conv_last,最终获得重构的纯净高光谱图像。0010作为本发明的一种优选技术方案:步骤S2中所述的空间信息与光谱信息提取模块包括空间二维卷积、光谱三维卷积、卷积拼接过程,具体过程如下:所述空间二维卷积采用3*3二维卷积层Conv_2d提取高光谱图像的空间信息,获得空间特征矩阵;所述光谱三维卷积采用并行的两个相同通道不同卷积核大小。

19、的三维卷积层,即分别采用C*3*3的三维卷积层Conv_3d_1和C*7*7的三维卷积层Conv_3d_2提取高光谱图像的光谱信息,获得两个光谱矩阵,其中C表示光谱维度;所述卷积拼接是将分别经过三维卷积层Conv_3d_1和三维卷积层Conv_3d_2卷积后的两个光谱矩阵根据通道维度相加,得到光谱特征矩阵。0011作为本发明的一种优选技术方案:步骤S2中所述的协调注意力模块首先对光谱特说明书2/7 页5CN 116503292 A5征矩阵进行batch维度降维,将降维后的光谱特征矩阵与空间特征矩阵进行拼接,获得维度为C*H*W的光谱特征与空间特征拼接矩阵,其中C为光谱维度,H和W分别为高度和宽。

20、度,将光谱特征与空间特征拼接矩阵作为输入,依次经过并行的平均池化层、整体二维卷积层、整体规范化层和非线性层,最后由并行sigmoid激活函数输出,得到融合后的整体特征矩阵。0012作为本发明的一种优选技术方案:步骤S2中所述的空间信息编码与光谱信息编码融合模块包括二维空间信息编码、三维光谱信息编码以及编码融合;所述二维空间信息编码采用4*4的二维步长对整体特征矩阵进行分割、编码,提取空间信息,获得整体特征向量;所述三维光谱信息编码采用2*2*2的三维步长对步骤S1所获得的预处理后的高光谱图像进行分割、编码,提取光谱信息,获得光谱特征向量;所述编码融合是将整体特征向量和光谱特征向量连接后,分别通。

21、过并行的自适应平均池化层和自适应最大池化层,得到长度统一的平均池化向量和最大池化向量,并将二者相加,再经过sigmoid激活函数输出,最终得到编码向量。0013作为本发明的一种优选技术方案:步骤S2中所述的残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像进行3*3的卷积Conv_first,然后使用4*4步长编码后进行图像重构,获得残差图像;其次通过编码向量重构得到整体图像,将残差图像和整体图像根据预设权重结合,并对其进行3*3的反卷积Conv_last,最终获得重构的纯净高光谱图像;所述图像重构的过程为:编码后的向量首先通过归一化层,再通过多头自注意力机制,在多头自注意力机制后引入。

22、残差,再通过归一化层,最后通过多层感知机,并在其结尾同样引入残差。0014作为本发明的一种优选技术方案:步骤S3中所应用的损失函数如下式:0015式中,L1_Charbonnier_loss表示损失函数,y表示步骤S1所获得的预处理后的高光谱图像,x表示去噪后的重构的纯净高光谱图像,为常数项,取值为。0016作为本发明的一种优选技术方案:步骤S4中去噪结果进行评价的指标为:峰值信噪比、结构相似性、光谱角度匹配。0017有益效果:相对于现有技术,本发明的优点包括:1、本发明的基于SwinIR网络的高光谱遥感图像去噪方法,在现有的SwinIR基础网络上,将单一二维空间尺度的卷积改进为二维与三位卷积。

23、拼接,并通过协调注意力机制融合空间特征与光谱特征,能够充分地提取高光谱图像的空间特征及多维光谱特征,使网络能够应用于高光谱图像任务;2、本发明的基于SwinIR网络的高光谱遥感图像去噪方法,加入了三维光谱图像编码与编码融合方法,能够更好的分割得到高光谱图像不同维度上的空间以及光谱信息编码并将其进行融合,从而获得多个维度信息的编码;3、本发明的基于SwinIR网络的高光谱遥感图像去噪方法,在重构过程中加入残差图像重构方法,进一步提高了重构后高光谱图像的质量,能够适用于含有不同类型、不同波段噪声的受污染的高光谱图像,并能提高高光谱图像整体质量且不再依赖人工或先验知识。说明书3/7 页6CN 116。

24、503292 A6附图说明0018图1是根据本发明实施例提供的基于SwinIR的高光谱遥感图像去噪方法的流程图;图2是根据本发明实施例提供的空间信息与光谱信息提取模块的示意图;图3是根据本发明实施例提供的协调注意力模块的示意图;图4是根据本发明实施例提供的空间信息编码与光谱信息编码融合模块的示意图;图5是根据本发明实施例提供的残差图像重构模块的示意图;图6是根据本发明实施例提供的高光谱图像去噪网络模型的示意图。具体实施方式0019下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。0020参照图1,本发明实施例提供的一种基于Swi。

25、nIR的高光谱遥感图像去噪方法,针对高光谱图像,执行如下步骤S1步骤S4,完成高光谱图像的去噪:步骤S1:采集预设数量的高光谱图像,其中包括纯净高光谱图像和噪声高光谱图像,对所采集的所有高光谱图像进行预处理,预处理后的各高光谱图像均包含噪声,并根据预设比例将预处理后的高光谱图像划分为训练集和测试集。0021预处理包括以下步骤S11步骤S12:步骤S11:针对纯净高光谱图像,手动添加的不同强度的高斯噪声和条纹噪声,为噪声强度,单位为dB,并随机在不同光谱带添加随机强度高斯噪声,并作(0.25,0.5,1)缩放和随机旋转进行数据增强,针对噪声高光谱图像,进行随机旋转;步骤S12:将步骤S11所获得。

26、的各高光谱图像进行裁剪,统一为64*64大小。0022步骤S2:构建高光谱图像去噪网络模型,该模型以预处理后的高光谱图像为输入,以重构的纯净高光谱图像为输出,高光谱图像去噪网络模型包括改进后的SwinIR网络、空间信息与光谱信息提取模块、协调注意力模块、空间信息编码与光谱信息编码融合模块、残差图像重构模块。0023步骤S2中所述改进后的SwinIR网络将SwinIR基础网络的浅层特征提取的3*3卷积替换为空间信息与光谱信息提取模块,以提取高光谱图像的二维空间特征和三维光谱特征;高光谱图像去噪网络模型的工作过程如下:所述空间信息与光谱信息提取模块包括二维卷积层Conv_2d、三维卷积层Conv_。

27、3d_1、三维卷积层Conv_3d_2,并对三者进行卷积拼接,以提取不同尺度的空间特征矩阵及光谱特征矩阵;所述协调注意力模块采用平均池化、卷积、规范化(BatchNorm)、非线性层(Nonlinear)的方法,融合不同尺度的空间特征矩阵及光谱特征矩阵,捕获远程依赖关系并保留位置信息,获得整体特征矩阵;所述空间信息编码与光谱信息编码融合模块首先针对整体特征矩阵采用二维步长进行编码,获得整体特征向量,其次引入三维编码方法,采用三维步长对步骤S1所获得的说明书4/7 页7CN 116503292 A7预处理后的高光谱图像进行三维特征编码,得到光谱特征向量,引入自适应池化层,融合不同长度的整体特征向。

28、量、光谱特征向量,得到编码向量;所述残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像采用卷积Conv_first进行空间特征提取后直接进行编码重构,获得残差图像;其次通过编码向量重构得到整体图像,将残差图像和整体图像根据预设权重结合,再采用反卷积Conv_last,最终获得重构的纯净高光谱图像。0024各模块具体的工作过程如下:参考图2,图中高光谱图像的维度为C*B*H*W,C、B、H、W分别表示光谱维度、通道数、高度、宽度;所述的空间信息与光谱信息提取模块包括空间二维卷积、光谱三维卷积、卷积拼接过程,具体过程如下:所述空间二维卷积采用3*3二维卷积层Conv_2d,输入通道为光谱维。

29、度,输出通道为统一预设维度N,提取高光谱图像的空间信息,获得N*64*64大小的空间特征矩阵;所述光谱三维卷积采用并行的两个相同通道数为1,不同卷积核大小的三维卷积层,即分别采用C*3*3的三维卷积层Conv_3d_1和C*7*7的三维卷积层Conv_3d_2,输出维度统一为预设维度N/2,提取高光谱图像的光谱信息,得到两个大小为(N/2)*1*64*64的光谱矩阵,其中C表示光谱维度;所述卷积拼接是将分别经过三维卷积层Conv_3d_1和三维卷积层Conv_3d_2卷积后的两个光谱矩阵在预设维度N/2上进行拼接连接,得到拼接后大小为N*1*64*64的光谱特征矩阵。0025参照图3,所述的协。

30、调注意力模块首先对光谱特征矩阵进行batch维度降维,将降维后的光谱特征矩阵与空间特征矩阵在预设维度N上进行拼接,获得维度为C*H*W的光谱特征与空间特征拼接矩阵,其中C为光谱维度、H和W分别表示高度和宽度,将光谱特征与空间特征拼接矩阵分别输入W的平均池化层与H的平均池化层,经过池化分别得到C*H*1和C*1*W矩阵:0026式中,H和W表示输入矩阵的高和宽,输入图像,i,j分别代表输入图像高、宽单位像素,z为输出矩阵;将这两个矩阵进行交换维度连接并作3*3二维卷积操作,得到C*1*(H+W)矩阵,之后经过整体规范化层和非线性层,再分别使用两个二维卷积重新得到C*H*1和C*1*W矩阵,由si。

31、gmoid函数激活后,拼接为原始大小的C*H*W矩阵;最终协调注意力模块融合了不同尺度的空间特征及光谱特征矩阵,捕获远程依赖关系并保留位置信息得到二维整体特征矩阵。0027参照图4,所述的空间信息编码与光谱信息编码融合模块包括二维空间信息编码、三维光谱信息编码以及编码融合;所述二维空间信息编码采用4*4的二维步长对整体特征矩阵进行分割,并将分割后的矩阵在H、W方向上编码,得到编码维度为E,长度为H*W的整体特征向量,着重提取图像说明书5/7 页8CN 116503292 A8空间信息;所述三维光谱信息编码采用2*2*2的三维步长对步骤S1所获得的预处理后的高光谱图像进行三维特征分割,并将分割后。

32、的三维矩阵在C、H、W方向上编码,得到编码维度为E,长度为C*H*W的光谱特征向量,着重获取光谱信息;所述编码融合是将整体特征向量和光谱特征向量在编码维度E上连接后,得到维度为E*(H*W+C*H*W)的向量,该向量维度为E,长度为(H*W+C*H*W),分别通过并行的自适应平均池化层和自适应最大池化层,得到统一长度E*H*W的平均池化向量和最大池化向量,并将二者相加,再经过sigmoid激活函数输出,最终得到编码向量。0028参照图5,所述的残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像进行3*3的卷积Conv_first,然后使用4*4步长编码后得到E*W*H的原始向量,对其进。

33、行图像重构,获得残差图像;其次通过编码向量重构得到整体图像,将残差图像和整体图像根据预设权重结合:0029其中O为最终输出图像,Ores为残差图像,O 为重构图像,W与代表不同权重;并对其进行3*3的反卷积Conv_last,最终获得重构的纯净高光谱图像;所述图像重构的过程为:编码后的向量首先通过归一化层(LayerNorm,LN),再通过四级的多头自注意力机制(MSA),多头注意力机制主要用于给予图像不同权重,更好地利用各种信息,具体如下式:0030其中,Attention表示多头注意力机制,Q、k、V分别为查询矩阵、键矩阵、值矩阵,由相应的权重矩阵WQ、WK、WV与编码后得到的矩阵相乘得到。

34、,dk为欧氏距离;在多头自注意力机制后引入残差,残差可表示为下式:0031其中表示经过归一化层、多级多头注意力机制后得到的处理后向量,表示输入的编码后的向量,表示引入残差后得到的结果向量。0032再通过归一化层,最后通过多层感知机(MLP),并在其结尾同样引入残差:0033此时表示经过归一化层、多层感知机后得到的处理后向量,表示先前过程引入残差后得到的结果向量,X表示引入残差后得到的向量。0034图6为一种基于SwinIR的高光谱遥感图像去噪方法的整体网络模型,在经过所述空间信息与光谱信息提取模块、协调注意力模块、空间信息编码与光谱信息编码融合模块后,编码向量输入4个并行的重构层,每个重构层包。

35、含6个残差图像重构模块。每一个残差图像重构模块互为独立,可以充分学习图像特征并得到最优结果。引入原始图像残差,将输出结果与原始图像残差相加后,得到最终重构后的纯净高光谱图像。0035步骤S3:针对高光谱图像去噪网络模型,以训练集中的各高光谱图像为输入,以重说明书6/7 页9CN 116503292 A9构的纯净高光谱图像为输出,应用损失函数对高光谱图像去噪网络模型进行预设次数的训练,获得训练完成的高光谱图像去噪网络模型。0036所应用的损失函数如下式:0037式中,L1_Charbonnier_loss表示损失函数,y表示步骤S1所获得的预处理后的高光谱图像,x表示去噪后的重构的纯净高光谱图像。

36、,为常数项,取值为。0038步骤S4:将测试集中的各高光谱图像输入训练完成的高光谱图像去噪网络模型,获得测试集中的各高光谱图像对应的重构的纯净高光谱图像,并针对去噪结果进行评价。0039去噪结果进行评价的指标为:峰值信噪比(PSNR)、结构相似性(SSIM)、光谱角度匹配(SAM),具体如下式:0040其中,I为输出图像,MSE为输出图像与输入图像方差;为输出图像I中图像点颜色的最大数值;0041其中,l(x,y)为比较亮度,c(x,y)为比较对比度,s(x,y)为比较结构,设为1;0042其中,表示图像x,y的伴随矩阵。0043实验评估结果如表1所示,展示结果为ICVL公开数据集结果。004。

37、40045根据表1得出面对噪声高光谱图像,本发明展现出了优秀的去噪性能。0046上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。说明书7/7 页10CN 116503292 A10图 1说明书附图1/5 页11CN 116503292 A11图 2说明书附图2/5 页12CN 116503292 A12图 3说明书附图3/5 页13CN 116503292 A13图 4图 5说明书附图4/5 页14CN 116503292 A14图 6说明书附图5/5 页15CN 116503292 A15。

展开阅读全文
内容关键字: 基于 SwinIR 光谱 遥感 图像 方法
关于本文
本文标题:基于SwinIR的高光谱遥感图像去噪方法.pdf
链接地址:https://www.zhuanlichaxun.net/pdf/14249521.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1