基于VGG16和孪生神经网络的遥感影像变化检测方法.pdf

《基于VGG16和孪生神经网络的遥感影像变化检测方法.pdf》由会员分享，可在线阅读，更多相关《基于VGG16和孪生神经网络的遥感影像变化检测方法.pdf（9页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010885624.1 (22)申请日 2020.08.28 (71)申请人 河海大学 地址 211100 江苏省南京市江宁区佛城西 路8号 (72)发明人 王鑫张香梁吕安 (74)专利代理机构 南京经纬专利商标代理有限 公司 32200 代理人 周科技 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/34(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)。

2、发明名称 基于VGG16和孪生神经网络的遥感影像变化 检测方法 (57)摘要 本发明公开了一种基于VGG16和孪生神经网 络的遥感影像变化检测方法， 包括以下步骤： 搭 建改进的VGG16网络并对网络进行训练； 训练时 输入图像进行数次卷积操作后得到两幅特征图 像， 对两幅特征图像进行合并； 对于上一步骤得 到的特征图像进行数次上采样和反卷积的操作 恢复到原图大小； 最后再进行一次卷积， 经过 softmax层后将图像块分为变化类和未变化类； 输入要测试的图像， 利用训练好的网络得到变化 检测图。 本发明使用深度神经网络更有效地获取 目标特征， 并且本方法避免了差值图的生成， 避 免了差值图对。

3、结果的影响。 权利要求书2页 说明书4页 附图2页 CN 112115808 A 2020.12.22 CN 112115808 A 1.一种基于VGG16和孪生神经网络的遥感影像变化检测方法， 其特征在于： 该方法包括 如下步骤： (1)获取遥感图像数据集， 包括变化前和变化后的图像； 将数据集中图像切割为图像 块， 将图像块分别标注为变化或未变化类标签， 构建训练集和测试集； (2)构建基于VGG16模型的卷积神经网络， 包括若干个卷积层和池化层， 若干个上采样 和反卷积层， 以及最后一层卷积层和softmax层； (3)将训练集中同一区域两个时相的图像块作为卷积神经网络的输入， 类标签作。

4、为输 出， 构建损失函数进行网络训练， 直到误差满足预期， 得到训练好的卷积神经网络； (4)将测试集中同一区域两个时相的图像块输入训练好的卷积神经网络， 通过卷积神 经网络将图像块分为变化类和未变化类， 得到最后的变化检测图。 2.根据权利要求1所述的基于VGG16和孪生神经网络的遥感影像变化检测方法， 其特征 在于： 所述步骤(3)， 过程如下： 将训练集中同一区域两个时相的图像块输入卷积神经网络， 首先经过若干个卷积层和 池化层后得到两个特征图， 将两个特征图像合并， 并进行一次反卷积操作； 然后将得到的特 征图像进行若干次上采样和反卷积， 接着进行最后一次卷积， 经过softmax层后。

5、将图像块分 为变化类和未变化类； 其中， 经过softmax层得到一个概率二值化图像， 有变化的像素点p1 为1， 无变化的像素点p0为0； 采用交叉熵作为损失函数， 公式如下： 式中m为样本数， 即图像中的像素点数； y0和y1是实际标签， 分别代表无变化的像素点和 有变化的像素点。 3.根据权利要求1或2所述的基于VGG16和孪生神经网络的遥感影像变化检测方法， 其 特征在于： 所述步骤(2)， 卷积神经网络的卷积层和池化层结构如下： (2.1.1)在输入层中， 输入同一区域两个时相的遥感图像， 图像大小为2242243； (2.1.2)在第一层卷积层中， 用两组64个33的卷积核， 设定。

6、步长为1； 在第一层的池化 层， 池化方法设为MAX pooling； (2.1.3)在第二层卷积层中， 用两组128个33的卷积核， 设定步长为1； 在第二层的池 化层， 池化方法设为MAX pooling； (2.1.4)在第三层卷积层中， 用三组256个33的卷积核， 设定步长为1； 在第三层的池 化层， 池化方法设为MAX pooling； (2.1.5)在第四层卷积层中， 用三组512个33的卷积核， 设定步长为1； 在第四层的池 化层， 池化方法设为MAX pooling； (2.1.6)在第五层卷积层中， 用三组512个33的卷积核， 设定步长为1； 在第五层的池 化层， 池化方。

7、法设为MAX pooling； (2.1.7)将第五层的池化层输出的两幅特征图像合并后， 经过的反卷积结构为512个3 3的卷积核， 设定步长为1。 4.根据权利要求1或2所述的基于VGG16和孪生神经网络的遥感影像变化检测方法， 其 特征在于： 所述步骤(2)， 卷积神经网络的上采样和反卷积层结构如下： 权利要求书 1/2 页 2 CN 112115808 A 2 (2.2.1)在第一层反卷积层中， 先进行上采样， 再进行反卷积， 反卷积是三组33的卷 积核， 设定步长为1； (2.2.2)在第二层的反卷积层中， 先进行上采样， 再进行反卷积， 反卷积是三组33的 卷积核， 设定步长为1； 。

8、(2.2.3)在第三层的反卷积层中， 先进行上采样， 再进行反卷积， 反卷积是三组33的 卷积核， 设定步长为1； (2.2.4)在第四层的反卷积层中， 先进行上采样， 再进行反卷积， 反卷积是两组33的 卷积核， 设定步长为1； (2.2.5)在第五层的反卷积层中， 先进行上采样， 再进行反卷积， 反卷积是两组33的 卷积核， 设定步长为1。 5.根据权利要求1或2所述的基于VGG16和孪生神经网络的遥感影像变化检测方法， 其 特征在于： 所述步骤(2)， 最后一层卷积层中， 定义2个尺寸为33的卷积核， 步长定为1。 权利要求书 2/2 页 3 CN 112115808 A 3 基于VGG。

9、16和孪生神经网络的遥感影像变化检测方法 技术领域 0001 本发明属于图像变化技术领域， 特别涉及一种基于VGG16网络和孪生神经网络的 遥感图像变化检测方法。 背景技术 0002 现在遥感技术应用于越来越多的领域， 比如： 森林或植被的动态变化监测、 对自然 灾害的灾后分析及评估、 对土地利用的变化分析、 对农田进行监控、 对城镇变化实时监测、 分析农作物生长状况、 对军事战略目标(机场、 道路等)进行动态监视等领域， 极大地促进了 经济和社会的发展。 0003 遥感图像变化检测属于遥感图像处理领域， 用于分析处理同一地点不同时期的遥 感图像而获得变化信息。 国内外学者已经对遥感图像变化检。

10、测问题进行了大量的研究， 提 出了各种各样的变化检测方法。 其中基于特征的变化检测方法是利用图像中的光谱特征、 纹理特征、 空间结构等特性， 对遥感图像进行变化检测。 而使用传统的方法提取图像的特征 不具有代表性， 用在遥感图像变化检测上识别精度较低。 发明内容 0004 发明目的： 针对现有技术中存在的问题， 本发明提供一种基于VGG16网络和孪生神 经网络的遥感图像变化检测方法， 使用深度神经网络更有效地获取目标特征， 并且本方法 避免了差值图的生成， 避免了差值图对结果的影响。 0005 技术方案： 为实现本发明的目的， 本发明所采用的技术方案是： 一种基于VGG16和 孪生神经网络的遥。

11、感影像变化检测方法， 输入图像进行数次卷积操作后得到两幅特征图 像， 对两幅特征图像进行合并， 再进行数次上采样和反卷积的操作恢复到原图大小， 最后再 进行一次卷积， 经过softmax层后将图像分为变化类和未变化类； 步骤如下： 0006 (1)获取遥感图像数据集， 包括变化前和变化后的图像； 将数据集中图像切割为图 像块， 将图像块分别标注为变化或未变化类标签， 构建训练集和测试集； 0007 (2)构建基于VGG16模型的卷积神经网络， 包括若干个卷积层和池化层， 若干个上 采样和反卷积层， 以及最后一层卷积层和softmax层； 0008 (3)将训练集中同一区域两个时相的图像块作为卷。

12、积神经网络的输入， 类标签作 为输出， 构建损失函数进行网络训练， 直到误差满足预期， 得到训练好的卷积神经网络； 0009 (4)将测试集中同一区域两个时相的图像块输入训练好的卷积神经网络， 通过卷 积神经网络将图像块分为变化类和未变化类， 得到最后的变化检测图。 0010 进一步的， 所述步骤(3)， 过程如下： 0011 将训练集中同一区域两个时相的图像块输入卷积神经网络， 首先经过若干个卷积 层和池化层后得到两个特征图， 将两个特征图像合并， 并进行一次反卷积操作； 然后将得到 的特征图像进行若干次上采样和反卷积， 接着进行最后一次卷积， 经过softmax层后将图像 块分为变化类和未。

13、变化类； 其中， 经过softmax层得到一个概率二值化图像， 有变化的像素 说明书 1/4 页 4 CN 112115808 A 4 点p1为1， 无变化的像素点p0为0； 0012 采用交叉熵作为损失函数， 公式如下： 0013 0014 式中m为样本数， 即图像中的像素点数； y0和y1是实际标签， 分别代表无变化的像素 点和有变化的像素点。 0015 进一步的， 所述步骤(2)， 卷积神经网络的卷积层和池化层结构如下： 0016 (2.1.1)在输入层中， 输入同一区域两个时相的遥感图像， 图像大小为224224 3； 0017 (2.1.2)在第一层卷积层中， 用两组64个33的卷积。

14、核， 设定步长为1； 在第一层的 池化层， 池化方法设为MAX pooling； 0018 (2.1.3)在第二层卷积层中， 用两组128个33的卷积核， 设定步长为1； 在第二层 的池化层， 池化方法设为MAX pooling； 0019 (2.1.4)在第三层卷积层中， 用三组256个33的卷积核， 设定步长为1； 在第三层 的池化层， 池化方法设为MAX pooling； 0020 (2.1.5)在第四层卷积层中， 用三组512个33的卷积核， 设定步长为1； 在第四层 的池化层， 池化方法设为MAX pooling； 0021 (2.1.6)在第五层卷积层中， 用三组512个33的卷积。

15、核， 设定步长为1； 在第五层 的池化层， 池化方法设为MAX pooling； 0022 (2.1.7)将第五层的池化层输出的两幅特征图像合并后， 经过的反卷积结构为512 个33的卷积核， 设定步长为1。 0023 进一步的， 所述步骤(2)， 卷积神经网络的上采样和反卷积层结构如下： 0024 (2.2.1)在第一层反卷积层中， 先进行上采样， 再进行反卷积， 反卷积是三组33 的卷积核， 设定步长为1； 0025 (2.2.2)在第二层的反卷积层中， 先进行上采样， 再进行反卷积， 反卷积是三组3 3的卷积核， 设定步长为1； 0026 (2.2.3)在第三层的反卷积层中， 先进行上采。

16、样， 再进行反卷积， 反卷积是三组3 3的卷积核， 设定步长为1； 0027 (2.2.4)在第四层的反卷积层中， 先进行上采样， 再进行反卷积， 反卷积是两组3 3的卷积核， 设定步长为1； 0028 (2.2.5)在第五层的反卷积层中， 先进行上采样， 再进行反卷积， 反卷积是两组3 3的卷积核， 设定步长为1。 0029 进一步的， 所述步骤(2)， 最后一层卷积层中， 定义2个尺寸为33的卷积核， 步长 定为1。 0030 有益效果： 本发明采用上述技术方案， 具有以下有益效果： 0031 (1)本发明方法的卷积部分借鉴VGG16的结构， 使用小的卷积核； 整体框架借鉴孪 生神经网络，。

17、 让提取到的特征每一层之间都是对应的。 (2)传统的变化检测方法中会生成差 值图， 然而差值图会对结果的精确度产生一定的影响， 本发明方法避免了差值图的产生。 (3)本发明使用卷积网络提取深度特征， 深度特征能有效地捕获目标特征。 说明书 2/4 页 5 CN 112115808 A 5 附图说明 0032 图1是本发明实施例的框架图； 0033 图2是搭建的深度卷积神经网络结构图。 具体实施方式 0034 下面结合附图和实施例对本发明的技术方案作进一步的说明。 0035 本发明所述的基于VGG16和孪生神经网络的遥感影像变化检测方法， 流程框架如 图1所示， 包括如下步骤： 0036 (1)。

18、获取遥感图像数据集， 包括变化前和变化后的图像； 本实施例中选用SZTAKI AirChange Benchmark数据集， 将数据集中图像用滑动切割的方式切割为224224的图像 块， 将图像块分别标注为变化或未变化类标签， 构建训练集和测试集。 0037 (2)构建基于VGG16模型的卷积神经网络， 包括若干个卷积层和池化层， 若干个上 采样和反卷积层， 以及最后一层卷积层和softmax层； 0038 卷积神经网络的卷积层和池化层结构如下： 0039 (2.1.1)在输入层中， 输入同一区域两个时相的遥感图像， 图像大小为224224 3； 0040 (2.1.2)在第一层卷积层中， 用。

19、两组64个33的卷积核， 设定步长为1； 在第一层的 池化层， 池化方法设为MAX pooling； 输出的特征图像大小为11211264； 0041 (2.1.3)在第二层卷积层中， 用两组128个33的卷积核， 设定步长为1； 在第二层 的池化层， 池化方法设为MAX pooling； 输出的特征图像大小为5656128； 0042 (2.1.4)在第三层卷积层中， 用三组256个33的卷积核， 设定步长为1； 在第三层 的池化层， 池化方法设为MAX pooling； 输出的特征图像大小为2828256； 0043 (2.1.5)在第四层卷积层中， 用三组512个33的卷积核， 设定步长。

20、为1； 在第四层 的池化层， 池化方法设为MAX pooling； 输出的特征图像大小为1414512； 0044 (2.1.6)在第五层卷积层中， 用三组512个33的卷积核， 设定步长为1； 在第五层 的池化层， 池化方法设为MAX pooling； 输出的特征图像大小为77512； 0045 (2.1.7)将第五层的池化层输出的两幅特征图像合并后， 经过的反卷积结构为512 个33的卷积核， 设定步长为1， 输出的特征图像大小为77512。 0046 卷积神经网络的上采样和反卷积层结构如下： 0047 (2.2.1)在第一层反卷积层中， 先进行上采样， 输出图像为1414512， 再进行。

21、反 卷积， 反卷积是三组33的卷积核， 设定步长为1， 输出图像为1414512； 0048 (2.2.2)在第二层的反卷积层中， 先进行上采样， 输出图像为2828512， 再进行 反卷积， 反卷积是三组33的卷积核， 设定步长为1， 输出图像为2828512； 0049 (2.2.3)在第三层的反卷积层中， 先进行上采样， 输出图像为5656512， 再进行 反卷积， 反卷积是三组33的卷积核， 设定步长为1， 输出图像为5656256； 0050 (2.2.4)在第四层的反卷积层中， 先进行上采样， 输出图像为112112256， 再进 行反卷积， 反卷积是两组33的卷积核， 设定步长为。

22、1， 输出图像为112112128； 0051 (2.2.5)在第五层的反卷积层中， 先进行上采样， 输出图像为224224128， 再进 行反卷积， 反卷积是两组33的卷积核， 设定步长为1， 输出图像为22422464。 说明书 3/4 页 6 CN 112115808 A 6 0052 最后一层卷积层中， 定义2个尺寸为33的卷积核， 步长定为1， 输出的特征图像大 小为2242242。 0053 (3)将训练集中同一区域两个时相的图像块作为卷积神经网络的输入， 类标签作 为输出， 构建损失函数进行网络训练， 直到误差满足预期， 得到训练好的卷积神经网络； 0054 将训练集中同一区域两。

23、个时相的图像块输入卷积神经网络， 首先经过若干个卷积 层和池化层后得到两个特征图， 将两个特征图像合并， 并进行一次反卷积操作； 然后将得到 的特征图像进行若干次上采样和反卷积， 接着进行最后一次卷积， 经过softmax层后将图像 块分为变化类和未变化类； 其中， 将遥感图像变化检测理解为图像二分类问题， 经过 softmax层得到一个概率二值化图像， 有变化的像素点p1为1， 无变化的像素点p0为0； 0055 采用交叉熵作为损失函数， 公式如下： 0056 0057 式中m为样本数， 即图像中的像素点数； y0和y1是实际标签， 分别代表无变化的像素 点和有变化的像素点。 0058 (4)将测试集中同一区域两个时相的图像块输入训练好的卷积神经网络， 通过卷 积神经网络将图像块分为变化类和未变化类， 得到最后的变化检测图。 0059 以上所述是本发明的优选实施方式， 应当指出， 对于本技术领域的普通技术人员 来说， 在不脱离本发明技术原理的前提下， 还可以做出若干改进和变形， 这些改进和变形也 应视为本发明的保护范围。 说明书 4/4 页 7 CN 112115808 A 7 图1 说明书附图 1/2 页 8 CN 112115808 A 8 图2 说明书附图 2/2 页 9 CN 112115808 A 9 。