小样本环境下的行人重识别方法.pdf

《小样本环境下的行人重识别方法.pdf》由会员分享，可在线阅读，更多相关《小样本环境下的行人重识别方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310316743.9(22)申请日 2023.03.24(71)申请人 山东理工大学地址 255020 山东省淄博市张店区新村西路266号(72)发明人 邹国锋傅桂霞陈贵震刘月高明亮毛帅潘金凤(74)专利代理机构 常州众慧之星知识产权代理事务所(普通合伙)32458专利代理师 郭云梅(51)Int.Cl.G06V 40/10(2022.01)G06V 10/82(2022.01)G06N 3/0464(2023.01)G06N 3/096(2023.01)G06V 10/74(2022.0。

2、1)(54)发明名称一种小样本环境下的行人重识别方法(57)摘要本发明公开了一种小样本环境下的行人重识别方法，属于模式识别与机器学习技术领域，包括行人特征的增强处理；基于双相似度量的特征计算；基于元学习框架的元任务构建。本发明一种小样本环境下的行人重识别方法，融合数据增强和迁移学习两类方法，能够克服基于传统深度学习的行人重识别方法过度依赖海量的高质量标注行人图像、网络复杂度高、训练难度大、无法应对真实环境下行人样本量不足问题等缺点，能够在行人数据量不足情况下实现高效的再识别。权利要求书2页 说明书6页 附图3页CN 116503897 A2023.07.28CN 116503897 A1.一种。

3、小样本环境下的行人重识别方法，其特征在于，包括以下步骤：步骤S1，增强处理行人特征，先由多头自注意力模块MSM从不同的尺度中获取样本更为充足的特征信息，再将多头自注意力模块获得的第二特征集引入空间注意力模块SAM将其在空间维度重标定获得第三特征集；步骤S2，度量行人特征，所述第三特征集经双重度量模块与关系模块得到第一度量得分和第二度量得分，再经加权融合得到联合度量得分。2.如权利要求1所述一种小样本环境下的行人重识别方法，其特征在于，所述多头自注意力模块MSM定义为：qnf11(fbn(f33(F1)kn,vnfch(f11(fbn(f33(F1)(1)经特征提取网络提取的特征图F1RBXY同。

4、时经33卷积层f33、BatchNorm层fbn以及11卷积层f11后得到qn，是调节因子，再经张量分块函数fch后获得kn和vn，kn为建矩阵和vn为建值矩阵，将与转置后的kn相乘后经过softmax函数fsf，其中qn为查询矩阵，再与vn相乘获得单个自注意力特征图其中n1,N，经多次相同操作获得后将其以cat方式fcat拼接，经LayerNorm层fln和最大池化层fap后得到Mmsm，即第二特征集。3.如权利要求2所述一种小样本环境下的行人重识别方法，其特征在于，所述空间注意力模块SAM定义为：Msfsm(f77(fcat(fmp(F2),fap(F2)(2)经第二特征集获得的特征集F2。

5、同时经过最大池化层fmp和平均池化层fap后，经过fcat按通道维度拼接在一起，再经77卷积层f77和sigmoid函数fsm生成最终空间注意图Ms，最后，MsF得到空间加权的第三特征集。4.如权利要求3所述一种小样本环境下的行人重识别方法，其特征在于，所述关系度量模块的第二度量得分为：经第三特征集获得的行人特征集F3，先经两次卷积fcv和最大池化层fmp得到s1，s1再经两个全连接层ffc、ReLU激活函数frl以及sigmoid函数fsm组成的非线性分类器获得所述关系度量模块的第二度量得分5.如权利要求4所述一种小样本环境下的行人重识别方法，其特征在于，所述双重度量模块的第一度量得分公式为。

6、：权利要求书1/2 页2CN 116503897 A2其中，F3表示经第三特征集获得特征集，表示余弦模块的相似度得分，表示余弦相似层，fcv表示卷积层，fmp表示最大池化层，fap表示平均池化层，表示欧氏距离得分，表示欧式距离度量层，表示双重度量模块的第一度量得分。6.如权利要求1所述一种小样本环境下的行人重识别方法，其特征在于，还包括步骤S3，元学习。权利要求书2/2 页3CN 116503897 A3一种小样本环境下的行人重识别方法技术领域0001本发明涉及模式识别与机器学习技术领域，且特别是有关于一种小样本环境下的行人重识别方法。背景技术0002近年来，基于深度学习的行人重识别算法取得了。

7、许多重大突破，但该类算法严重依赖于海量的高质量标注行人图像。在很多实际应用场景中，仅能采集到少量可用行人图像和标记缺失的行人数据。因此，样本数量或类别标记不足导致的小样本问题成为行人重识别领域的一项巨大挑战。0003受人类仅通过一个或几个示例就可以建立对新事物认知的启发，小样本学习概念被提出。其中，小样本学习主要解决两类问题：1)数据集规模有限，各类样本数量有限的学习和识别问题；2)数据集规模较大，但数据集中样本类别标记缺失或标记错误的学习与识别问题。其中，小样本环境下的行人重识别同样面临这两类挑战。0004近年来的研究主要集中在类别标记不足的小样本行人重识别技术，缺少针对数据量不足问题的小样。

8、本行人重识别技术研究。0005当前，解决数据量不足问题的小样本学习算法大致分成两个分支：1)基于数据增强的方法；2)基于迁移学习的方法。0006基于数据增强的小样本学习方法：基于数据增强的方法旨在利用辅助数据或信息，对小样本数据集进行数据扩充或特征增强。该方法可以有效提高样本的多样性，缓解小样本环境下数据量不足的问题。但其未对增强后的数据或特征做进一步处理，容易引入噪声数据或噪声特征，无法显著改善分类边界。0007基于迁移学习的小样本学习方法：基于迁移学习的方法旨在将已学会的知识快速地迁移到一个新的领域中，可细分为基于度量学习和基于元学习方法两大类。此类方法赋予模型自我学习的能力，使网络学习到。

9、更具判别性的样本特征，提升小样本环境下的识别准确率。但其在样本数量过少的情况下，模型的学习能力不足，最终导致识别性能不佳。0008尽管当前针对数据不足的小样本学习问题已有较多研究，但受到行人重识别中众多干扰因素的影响，以上研究并未在行人重识别领域得以应用。发明内容0009为解决上述问题，本发明提供一种小样本环境下的行人重识别方法。0010为达到上述目的，本发明技术方案是：0011一种小样本环境下的行人重识别方法，包括以下步骤：0012步骤S1，增强处理行人特征，先由多头自注意力模块MSM从不同的尺度中获取样本更为充足的特征信息，再将多头自注意力模块获得的第二特征集引入空间注意力模块SAM将其在。

10、空间维度重标定获得第三特征集；0013步骤S2，度量行人特征，所述第三特征集经双重度量模块与关系模块得到第一度说明书1/6 页4CN 116503897 A4量得分和第二度量得分，再经加权融合得到联合度量得分。0014上述多头自注意力模块MSM定义为：001500160017qnf11(fbn(f33(F1)0018kn,vnfch(f11(fbn(f33(F1)(1)0019经特征提取网络提取的特征图F1RBXY同时经33卷积层f33、BatchNorm层fbn以及11卷积层f11后得到qn，是调节因子，再经张量分块函数fch后获得kn和vn，kn为建矩阵和vn为建值矩阵，将与转置后的kn相。

11、乘后经过softmax函数fsf，其中qn为查询矩阵，再与vn相乘获得单个自注意力特征图其中n1,N。经多次相同操作获得后将其以cat方式fcat拼接，经LayerNorm层fln和最大池化层fap后得到Mmsm，即第二特征集。0020上述空间注意力模块SAM定义为：0021Msfsm(f77(fcat(fmp(F2),fap(F2)(2)0022经第二特征集获得的特征集F2同时经过最大池化层fmp和平均池化层fap后，经过fcat按通道维度拼接在一起，再经77卷积层f77和sigmoid函数fsm生成最终空间注意图Ms，最后，MsF得到空间加权的第三特征集。0023上述关系度量的第二度量得分。

12、定义为：00240025经第三特征集获得的行人特征集F3，先经两次卷积fcv和最大池化层fmp得到s1，s1再经两个全连接层ffc、ReLU激活函数frl以及sigmoid函数fsm组成的非线性分类器获得关系度量得分0026上述双重度量模块的第一度量得分公式为：0027002800290030其中，F3表示经第三特征集获得特征集，表示余弦模块的相似度得分，表示余弦相似层，fcv表示卷积层，fmp表示最大池化层，fap表示平均池化层，表示欧氏距离得分，表示欧式距离度量层，表示重新修正后的第二度量得分，由于支持集样本中不包含查询集图片，因此二者之间的欧式距离不为0，因此公式(5)中分式成立。003。

13、1上述一种小样本环境下的行人重识别方法，还包括步骤S3，元学习。0032其中，行人特征的增强处理包括：在网络特征嵌入模块中引入特征集增强模块，其说明书2/6 页5CN 116503897 A5中该模块先由多头自注意力模块从不同的特征层中获取包含多样行人特征的特征集，再由空间注意力模块将多头自注意力模块获得的特征集在空间维度重标定，使提取的行人特征更具多样性和判别性，从而弥补了行人数据不足的问题。0033其中，基于双相似度量的特征计算包括：使网络模型同时学习两种不同的相似性度量的方法，最后根据两种度量得分计算网络联合损失，用以反向调整网络参数。此方法可以有效降低行人特征的相似性偏差，提高模型在小。

14、样本环境下的行人重识别性能。0034其中，双相似度量方法包括关系度量和双重度量两种方法。0035其中，关系度量是以卷积层和sigmoid函数构建的非线性分类器的方法，可以有效学习样本间关系，确定分类结果。0036其中，双重度量是以欧式距离作为余弦度量权重的度量融合方法，综合考虑样本特征的方向差异与绝对距离,以获得更加可靠的度量得分。0037其中，基于元学习框架的元任务构建是以基于特征增强的特征提取层和基于双相似的度量学习层组成的度量学习网络为骨干，循环生成多个元任务，利用元任务完成网络的训练、验证以及测试。目标是在训练集的元任务中训练改进的神经网络，学习到可转移的行人重识别知识。其次，利用学习。

15、到的知识对验证集的元任务进行超参数调整。最后由测试集元任务中的模型精度平均值，报告泛化精度。0038本发明有益效果在于：0039本发明提供了一种小样本环境下的行人重识别方法，该重识别思想融合数据增强和迁移学习两类方法，能够克服基于传统深度学习的行人重识别方法过度依赖海量的高质量标注行人图像、网络复杂度高、训练难度大、无法应对真实环境下行人样本量不足问题等缺点，能够在行人数据量不足情况下实现高效的再识别。0040为让发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。附图说明0041图1为基于特征集增强与度量融合的小样本行人重识别网络结构图。0042图2为特征集增强模。

16、块结构图。0043图3为多头自注意力结构图。0044图4为空间注意力结构图。0045图5为关系度量结构图。0046图6为双重度量结构图。0047图7为元任务框架结构图。具体实施方式0048为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。0049下面结合附图对本发明作进一步描述：说明书3/6 页6CN 116503897 A60050图1为基于特征。

17、集增强与度量融合的小样本行人重识别网络结构图。0051本发明提供的小样本环境下的行人重识别方法，首先，步骤S1增强处理行人特征P1，特征提取网络Block1，其以Resnet12为骨干，包括特征提取层Block1141，所述步骤S1中引入特征集增强机制，增强小样本行人图像特征的判别能力。所述特征集增强机制，先由多头自注意力模块MSM从不同的尺度中获取样本更为充足的特征信息，再将多头自注意力模块获得的特征集Block2引入空间注意力模块SAM将其在空间维度重标定，使提取的行人特征更具多样性和判别性，从而弥补了行人数据不足的问题。其次，步骤S2度量行人特征的过程中，特征集Block3经关系模块与双。

18、重度量模块h得到不同的关系度量得分和双重度量得分再经加权融合得到联合度量得分Si,j。其中，双重度量模块h以欧式距离作为余弦度量权重，实现行人特征的空间绝对距离与方向差异的综合度量，提升了行人相似性度量的可靠性。最后，在元训练过程中，所述基于双相似度量的特征计算是使网络模型同时学习两种不同的相似性度量的方法，根据两种度量得分计算网络联合损失，用以反向调整网络参数，实现网络结构的元学习，最终实现基于特征集增强与度量融合的小样本行人重识别网络构建。0052步骤S1增强处理行人特征0053结合图2，所述步骤S1利用多头自注意力模块MSM(MultiSelfattention Module)和空间注意。

19、力模块SAM(Spatial Attention Module)，其中多头自注意力模块MSM用于探索不同特征提取层中的匹配特征集；空间注意力模块SAM用于探索各级特征集空间维度内的关注区域。最后经空间注意力模块SAM增强后的特征集在各级维度中以Cat方式拼接，得到特征集Block3。结合图3，给出了多头自注意力模块MSM的结构图。多头自注意力从各子空间中分别推断像素相关性，得到具有全局视野的特征图，通过堆叠不同自注意力头对应的结果特征图，使语义表示更为丰富。但传统多头自注意力模块MSM以全连接层生成查询矩阵、键矩阵以及值矩阵，本发明为应对小样本环境下行人样本不足情况，采用33的深度可分离卷积、。

20、BatchNorm层以及11卷积代替传统自注意力全连接层作为Wq、Wk和Wv，减少计算参数量，防止模型过拟合。0054多头自注意力模块MSM定义为：005500560057qnf11(fbn(f33(F1)0058kn,vnfch(f11(fbn(f33(F1)(1)0059经特征提取层Blockn1提取的特征图F1RBXY同时经33卷积层f33、BatchNorm层fbn以及11卷积层f11后得到qn，防止内积过大令其除以再经张量分块函数fch后获得kn和vn，将与转置后的kn相乘后经过softmax函数fsf，再与vn相乘获得单个自注意力特征图其中n1,N。经多次相同操作获得后将其以cat。

21、方式fcat拼接，经LayerNorm层fln和最大池化层fap后得到Mmsm，即特征层Blockn2。0060结合图4，给出了空间注意力模块SAM的结构图。说明书4/6 页7CN 116503897 A70061SAM可定义为：0062Msfsm(f77(fcat(fmp(F2),fap(F2)(2)0063经特征层Blockn2获得的特征集F2同时经过最大池化层fmp和平均池化层fap后，经过fcat按通道维度拼接在一起，再经77卷积层f77和sigmoid函数fsm生成最终空间注意图Ms。最后，MsF得到空间加权的特征集Block3。0064在多头自注意力模块MSM中，各元素间的内积操作。

22、使自注意力在本质上具有全局感受野。但由于自注意力机制仅仅计算不同像素特征间的相关性，没有考虑各像素的位置信息，缺乏空间感知能力，得到的输出会损失结构信息。因此，在不同尺度层的特征集融合前，引入空间注意力，使多头自注意力生成的特征集在空间维度重标定，增强其空间感知能力。0065步骤S2度量行人特征0066在行人特征的度量过程中，特征经关系模块与双重度量模块h得到不同的度量得分，再经加权融合得到联合度量得分，使行人特征同时受两种不同度量方法的约束，有效降低了特征的相似性偏差，联合得分公式为：00670068其中，Si,j表示联合度量得分，表示关系度量得分，表示双重度量得分，为联合得分的权重系数。0。

23、069结合图5，给出了关系模块的结构图。关系度量模块由两个包含最大池化层的卷积块和两个全连接层组成。该关系度量模块最终产生支持集样本每个类的原型与查询集之间的关系相似度得分，所述关系度量模块是以卷积层和sigmoid函数构建非线性分类器的方法，该关系度量模块的度量得分公式如下：00700071经特征集Block3获得的行人特征集F3，先经两次卷积fcv和最大池化层fmp得到s1即Block31，s1再经两个全连接层ffc、ReLU激活函数frl以及sigmoid函数fsm组成的非线性分类器获得关系度量得分0072结合图6，给出了双重度量模块h的结构图。所述双重度量模块h是以欧式距离作为余弦度量。

24、权重的度量融合方法。首先，特征集Block3的支持集样本与查询集样本特征经过两个卷积层，其中第一个卷积层包含最大池化层，第二个卷积层包含平均池化层。然后，将得到的特征集Block32同时输入余弦相似层与欧式距离度量层，分别得到样本特征间的余弦相似得分和欧式距离得分最后，双重度量的度量得分公式为：007300740075说明书5/6 页8CN 116503897 A80076其中，F3表示经特征集Block3获得特征集，表示余弦模块的相似度得分，表示余弦相似层，fcv表示卷积层，fmp表示最大池化层，fap表示平均池化层，表示欧氏距离得分，表示欧式距离度量层，表示双重度量模块的得分，由于支持集样。

25、本中不包含查询集图片，因此二者之间的欧式距离不为0，因此公式(5)中分式成立。0077步骤S3元训练。结合图7，给出了元任务框架结构图。数据量不足的小样本问题，通常被形式化为Cway Kshot问题，此问题中，模型可以将未标记的行人，正确的识别出C类中属于该行人的类。模型在元学习框架下完成学习，即循环生成多个元任务利用元任务完成训练、验证和测试。以训练集为例，实验从训练标签集Ltrain中随机选取C个不同的行人，并从训练数据集Dtrain中随机选取每个行人中的M张图片。其中每个行人的M张图片，分为K和MK张图片两组，即CK张图片作为支持集Si，C(MK)张图片作为查询集Qi，以此构成一个元任务。

26、。同样的，在验证集和测试集上按照相同方法生成元任务。0078所述基于元学习框架的元任务构建是以基于特征增强的特征提取层和基于双相似的度量学习层组成的度量学习网络为骨干，循环生成多个元任务，利用元任务完成网络的训练、验证以及测试；目标是在训练集的元任务中训练改进的神经网络，学习到可转移的行人重识别知识；其次，利用学习到的知识对验证集的元任务进行超参数调整；最后由测试集元任务中的模型精度平均值，报告泛化精度。0079经过以上三步即完成了小样本环境下的行人重识别。0080虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的申请专利范围所界定者为准。说明书6/6 页9CN 116503897 A9图1图2说明书附图1/3 页10CN 116503897 A10图3图4图5图6说明书附图2/3 页11CN 116503897 A11图7说明书附图3/3 页12CN 116503897 A12。