基于深度卷积级联网络的多尺度快速人脸分割方法.pdf

《基于深度卷积级联网络的多尺度快速人脸分割方法.pdf》由会员分享，可在线阅读，更多相关《基于深度卷积级联网络的多尺度快速人脸分割方法.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010878450.6 (22)申请日 2020.08.27 (71)申请人 杭州英歌智达科技有限公司 地址 310052 浙江省杭州市庆隆路9号B幢 502室 (72)发明人 徐联伯彭珂凡 (74)专利代理机构 浙江杭知桥律师事务所 33256 代理人 方东罗贤水 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/136(2017.01) G06K 9/00(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度卷。

2、积级联网络的多尺度快速 人脸分割方法 (57)摘要 本发明涉及人脸分割技术， 公开了一种基于 深度卷积级联网络的多尺度快速人脸分割方法； 首先对输入待分割图像做图像金字塔， 并逐一输 入到第一个卷积神经网络模型中， 计算每个热图 局部峰值点， 去除每个尺度重复人脸框； 将人脸 框逐一输入到第二个卷积神经网络模型中， 过滤 置信度低于人脸置信度阈值的人脸框， 对通过的 人脸框位置进一步调优； 将调优后的人脸框逐一 输入到第三个卷积神经网络模型中， 过滤人脸框 并调整人脸框位置， 实现人脸整体区域和眼鼻嘴 等局部区域分割。 通过本发明设计的人脸分割技 术能多尺度快速的进行人脸分割， 且分割精度 高。

3、， 能降低整体的网络计算成本， 适宜于计算资 源有限的嵌入式平台， 同时通过人脸关键部分进 行特定人物识别。 权利要求书3页 说明书9页 附图3页 CN 112132839 A 2020.12.25 CN 112132839 A 1.一种基于深度卷积级联网络的多尺度快速人脸分割方法， 其特征在于， 包括以下步 骤： S1： 人脸候选框生成； 对输入的待分割图像做图像金字塔， 并逐一输入到第一个卷积神 经网络模型， 第一个卷积神经网络模型在不同深度层预测不同尺度人脸候选框， 实现多尺 度人脸候选框预测； S2： 人脸框分类和回归； 将S1中预测的人脸框输入到第二个卷积神经网络模型中， 第二 个卷。

4、积神经网络模型逐一预测人脸框的置信度和边框回归值； 当人脸框置信度小于人脸框置信度阈值时， 第二个卷积神经网络模型过滤人脸框； 否 则对人脸框的位置进行调优； 并输出调优后的人脸框； S3： 将S2中调优后的人脸框输入到第三个卷积神经网络模型中， 第三个卷积神经网络 模型根据S2过滤人脸框； 当人脸框置信度大于等于人脸框置信度阈值时， 第三个卷积神经网络模型调整人脸框 位置， 并对调整后的人脸框进行人脸整体区域和局部区域分割； S4： 结果输出， 将S3中分割后的结果输出。 2.依据权利要求1所述的一种基于深度卷积级联网络的多尺度快速人脸分割方法， 其 特征在于， S1中的第一个卷积神经网络模。

5、型为轻量级特征金字塔网络模型， 网络深度为6 层， 网络最大通道数量为32； 特征金字塔网络模型接收输入图像， 在三个不同深度层得到不同置信度热图， 用于表 示人脸分布情况； 根据不同置信度热图计算置信度热图局部峰值点， 根据置信度热图局部 峰值点去除每个尺度的重复人脸框。 3.依据权利要求2所述的一种基于深度卷积级联网络的多尺度快速人脸分割方法， 其 特征在于， 置信度热图局部峰值点的计算包括如下步骤： 步骤1， 对置信度热图进行最大池化操作， 得到置信度热图极大值特征图； 公式1中，和分别表示当前层和前一层第k个特征图， down(.)为下采样函数， 表示当前层第k个特征图的加权系数， 表。

6、示当前池化层第k个特征图的偏置。 在置信 度热图极大值特征图计算中，和分别表示置信度热图极大值特征图和置信度热 图； 步骤2， 将同一位置的置信度热图对应位置的值与步骤1的置信度热图极大值特征图对 应位置的值进行对比， 当对应位置的值相同， 该位置赋值为1； 当对应位置的值不同， 该位置 赋值为0； 得到置信度热图局部峰值点位置特征图； 公式2中， Aij表示置信度热图第i行第j列像素值， Bij表示置信度热图极大值特征图第i 行第j列像素值， Cij表示置信度热图局部峰值点位置特征图第i行第j列像素值， i取值范围 为0,M-1， j取值范围为0,N-1， M表示置信度热图的高， N表示置信。

7、度热图的宽； 权利要求书 1/3 页 2 CN 112132839 A 2 步骤3， 将同一位置的置信度热图对应位置的值与步骤2的置信度热图局部峰值点位置 特征图对应位置的值相乘， 公式3生成置信度热图局部峰值点特征图； DijAijCij 公式3 公式3中， Aij表示置信度热图第i行第j列像素值， Cij表示置信度热图局部峰值点位置特 征图第i行第j列像素值， Dij表示置信度热图局部峰值点特征图第i行第j列像素值， i取值范 围为0,M-1， j取值范围为0,N-1， M表示置信度热图的高， N表示置信度热图的宽。 4.依据权利要求1所述的一种基于深度卷积级联网络的多尺度快速人脸分割方法。

8、， 其 特征在于， 对于每个输入人脸输出维度为km2的分割特征图， 即K个分辨率为MM的人脸分 割分支任务输出特征图， K表示类别数量， 对每个像素使用sigmoid函数， sigmoid函数计算 公式如下： 其中， i代表输出特征图中一个像素值， Si代表该像素值为人脸或人脸区域的概率值； 对于分割任务损失函数， 使用sigmoid交叉熵损失函数， 计算公式如下： 公式5中， yimask代表特征图中像素值真实的标签， 取值为yimask0,1， Si由卷积神经网 络输出， 代表像素值为人脸或人脸区域的概率值。 5.依据权利要求1所述的一种基于深度卷积级联网络的多尺度快速人脸分割方法， 其 。

9、特征在于， S2中的第二个卷积神经网络模型为人脸分类与回归网络结构， 网络深度为5层， 为下采样的卷积神经网络模型； S3中的第三个卷积神经网络模型为人脸分割网络模型， 先 下采样后上采样的卷积神经网络模型。 6.依据权利要求1所述的一种基于深度卷积级联网络的多尺度快速人脸分割方法， 其 特征在于， S3中的分割通过像素级别分类实现， 在输出特征图中， 对每一个位置是否为人脸 整体区域和眼鼻嘴等局部区域进行像素级别分类， 从而实现分割。 7.依据权利要求1所述的一种基于深度卷积级联网络的多尺度快速人脸分割方法， 其 特征在于， 第一个卷积神经网络模型和第二个卷积神经网络模型， 这两个模型同时实。

10、现人 脸分类和人脸边框回归两项任务， 多任务损失函数定义为： LlossLcls+Lbox 公式6 公式6中， LLOSS表示人脸分类和人脸边框回归两项任务总的LOSS值， LCLS表示人脸分类任 务LOSS值， LBOX表示人脸边框回归任务LOSS值。 对于第三个卷积神经网络模型， 该模型同时实现人脸分类、 人脸边框回归和人脸分割 三项任务， 多任务损失函数定义为： LlossLcls+Lbox+Lmask 公式7 公式7中， LLOSS表示人脸分类， 人脸边框回归和人脸分割三项任务总的LOSS值， LCLS表示 人脸分类任务LOSS值， LBOX表示人脸边框回归任务LOSS值， LMASK。

11、表示人脸分割任务LOSS值。 8.依据权利要求1所述的一种基于深度卷积级联网络的多尺度快速人脸分割方法， 其 特征在于， 还包括对分割后的图像关键部位分别设计用于局部区域特征提取的32*32的卷 积神经网络。 权利要求书 2/3 页 3 CN 112132839 A 3 9.依据权利要求8所述的一种基于深度卷积级联网络的多尺度快速人脸分割方法， 其 特征在于， 局部区域特征提取为每个人的同一个局部区域为一个类别， 使用softmax交叉熵损失 函数， 先经过softmax函数计算分类概率分布， 公式8为softmax函数计算： 公式8中， Xi代表一个人脸局部区域在第i个人上的投影大小， Pi。

12、代表该人脸局部区域为 第i个人的概率， k表示分类任务的类别数量； softmax交叉熵损失函数， 计算公式9： 公式9中， yicls代表真实样本的标签， 取值为yicls0,1， pi由神经网络输出， 代表一个 样本为第i个人的概率。 权利要求书 3/3 页 4 CN 112132839 A 4 一种基于深度卷积级联网络的多尺度快速人脸分割方法 技术领域 0001 本发明涉及人脸分割技术， 尤其涉及了一种基于深度卷积级联网络的多尺度快速 人脸分割方法。 背景技术 0002 人脸检测分割技术在人脸识别系统中至关重要， 在进行有效人脸识别之前， 需要 克服光照、 姿态、 表情和画质等影响， 准。

13、确有效地检测出目标场景中存在的人脸， 对人脸局 部区域眼鼻嘴等关键部位位置需精确定位。 眼鼻嘴等关键位置的准确定位， 可以提高人脸 校正效果， 从而提高人脸识别精度。 现有的技术中不能进行多尺度人脸分割， 且分割速度 慢， 网络计算成本高， 资源有限的嵌入式平台不适用等缺点。 0003 例如专利标题 ： 一种利用环形最短路径的红外人脸分割方法 ， 申请号 ： CN201610090345.X， 申请日： 2016-02-18的发明专利申请中记载， 一种人脸分割方法、 装置 及设备， 其中， 该方法包括： 获取包括待分割人脸区域的人脸图像； 提取待分割人脸区域的 关键点信息； 根据关键点信息以及。

14、各个分割对象与关键点信息的对应关系， 确定待分割人 脸区域对应的语义先验层信息； 其中， 语义先验层信息表示待分割人脸区域中各个分割对 象分别对应的限制分割区域； 将语义先验层信息和人脸图像， 输入至预先训练的网络模型， 得到待分割人脸区域中各个分割对象分别对应的分割结果。 0004 现有技术中提供的人脸分割方法、 装置及设备， 能够提高分割的准确度。 但利用环 形最短路径的红外人脸分割方法进行人脸分割， 不能进行多尺度人脸分割， 且分割速度慢， 网络计算成本高， 资源有限的嵌入式平台不适用。 发明内容 0005 本发明针对现有技术中存在不能进行多尺度人脸分割， 且分割速度慢， 网络计算 成本。

15、高， 资源有限的嵌入式平台不适用等的问题， 提供了一种基于深度卷积级联网络的多 尺度快速人脸分割方法。 0006 为了解决上述技术问题， 本发明通过下述技术方案得以解决： 0007 一种基于深度卷积级联网络的多尺度快速人脸分割方法， 包括以下步骤： 0008 S1： 人脸候选框生成； 对输入的待分割图像做图像金字塔， 并逐一输入到第一个卷 积神经网络模型， 第一个卷积神经网络模型在不同深度层预测不同尺度人脸候选框， 实现 多尺度人脸候选框预测； 0009 S2： 人脸框分类和回归； 将S1中预测的人脸框输入到第二个卷积神经网络模型中， 第二个卷积神经网络模型逐一预测人脸框的置信度和边框回归值；。

16、 0010 当人脸框置信度小于人脸框置信度阈值时， 第二个卷积神经网络模型过滤人脸 框； 否则对人脸框的位置进行调优； 并输出调优后的人脸框； 0011 S3： 将S2中调优后的人脸框输入到第三个卷积神经网络模型中， 第三个卷积神经 网络模型根据S2过滤人脸框； 说明书 1/9 页 5 CN 112132839 A 5 0012 当人脸框置信度大于等于人脸框置信度阈值时， 第三个卷积神经网络模型调整人 脸框位置， 并对调整后的人脸框进行人脸整体区域和局部区域分割； 0013 S4： 结果输出， 将S3中分割后的结果输出。 0014 作为优选， S1中的第一个卷积神经网络模型为轻量级特征金字塔网。

17、络模型， 网络 深度为6层， 网络最大通道数量为32； 特征金字塔网络模型接收输入图像， 在三个不同深度 层得到不同置信度热图， 用于表示人脸分布情况； 根据不同置信度热图计算置信度热图局 部峰值点， 根据置信度热图局部峰值点去除每个尺度重复人脸框。 0015 通过在不同深度同时预测不同尺度人脸候选框， 实现多尺度人脸框预测。 0016 作为优选， 置信度热图局部峰值点的计算包括如下步骤： 0017 步骤1， 公式1对置信度热图进行最大池化操作， 得到置信度热图极大值特征图； 0018 0019公式1中，和分别表示当前层和前一层第k个特征图， down(.)为下采样函 数，表示当前层第k个特征。

18、图的加权系数，表示当前池化层第k个特征图的偏置。 在置 信度热图极大值特征图计算中，和分别表示置信度热图极大值特征图和置信度热 图； 0020 步骤2， 对比同一位置的置信度热图对应位置的值与步骤1的置信度热图极大值特 征图对应位置的值， 当对应位置值相同， 该位置赋值为1； 当对应位置值不同， 该位置赋值为 0； 公式2得到置信度热图局部峰值点位置特征图； 0021 0022 公式2中， Aij表示置信度热图第i行第j列像素值， Bij表示置信度热图极大值特征 图第i行第j列像素值， Cij表示置信度热图局部峰值点位置特征图第i行第j列像素值， i取值 范围为0,M-1， j取值范围为0,N。

19、-1， M表示置信度热图的高， N表示置信度热图的宽； 0023 步骤3， 将同一位置的置信度热图对应位置的值与步骤2的置信度热图局部峰值点 位置特征图对应位置的值相乘， 公式3生成置信度热图局部峰值点特征图； 0024 DijAijCij 公式3 0025 公式3中， Aij表示置信度热图第I行第J列像素值， Cij表示置信度热图局部峰值点 位置特征图第i行第j列像素值， Dij表示置信度热图局部峰值点特征图第i行第j列像素值， i 取值范围为0,M-1， j取值范围为0,N-1， M表示置信度热图的高， N表示置信度热图的宽。 0026 通过分别计算每个热图局部峰值点， 快速的去除每个尺度。

20、重复的人脸框， 有效降 低后续不同尺度下人脸候选框合并时做NMS(非极大值抑制)操作的耗时， 降低了网络计算 成本。 0027 作为优选， 对于每个输入人脸输出维度为km2的分割特征图， 即K个分辨率为MM 的人脸分割分支任务输出特征图， K表示类别数量， 对每个像素使用sigmoid函数， sigmoid 函数计算公式如下： 说明书 2/9 页 6 CN 112132839 A 6 0028 0029 公式4中， i代表输出特征图中一个像素值， Si代表该像素值为人脸或人脸区域的 概率值； 0030 对于分割任务损失函数， 使用sigmoid交叉熵损失函数， 计算公式如下： 0031 003。

21、2 公式5中， yimask代表特征图中像素值真实的标签， 取值为yimask0,1， Si由卷积神 经网络输出， 代表像素值为人脸或人脸区域的概率值。 0033 作为优选， S2中的第二个卷积神经网络模型为人脸分类与回归网络结构， 网络深 度为5层， 为下采样的卷积神经网络模型； S3中的第三个卷积神经网络模型为人脸分割网络 模型， 先下采样后上采样的卷积神经网络模型。 0034 作为优选， S3中的分割通过像素级别分类实现， 在输出特征图中， 对每一个位置是 否为人脸整体区域和眼鼻嘴等局部区域进行像素级别分类， 从而实现分割。 0035 作为优选， 第一个卷积神经网络模型和第二个卷积神经网。

22、络模型， 这两个模型同 时实现人脸分类和人脸边框回归两项任务， 公式6为多任务损失函数的计算方式， 0036 LlossLcls+Lbox 公式6 0037 公式6中， LLOSS表示人脸分类和人脸边框回归两项任务总的LOSS值， LCLS表示人脸 分类任务LOSS值， LBOX表示人脸边框回归任务LOSS值。 0038 对于第三个卷积神经网络模型， 该模型同时实现人脸分类、 人脸边框回归和人脸 分割三项任务， 多任务损失函数定义为： 0039 LlossLcls+Lbox+Lmask 公式7 0040 公式7中， LLOSS表示人脸分类， 人脸边框回归和人脸分割三项任务总的LOSS值， LC。

23、LS 表示人脸分类任务LOSS值， LBOX表示人脸边框回归任务LOSS值， LMASK表示人脸分割任务LOSS 值。 0041 作为优选， 还包括对分割后的图像关键部位分别设计用于局部区域特征提取的 32*32的卷积神经网络。 通过对分割后的图像进行局部人脸特征提取， 有助于对特定人物进 行细粒度的比对识别。 0042 作为优选， 局部区域特征提取为每个人的同一个局部区域为一个类别， 使用 softmax交叉熵损失函数， 先经过softmax函数计算分类概率分布， 公式8， softmax函数计 算： 0043 0044 公式8中， Xi代表一个人脸局部区域在第i个人上的投影大小， Pi代表。

24、该人脸局部区 域为第i个人的概率， k表示分类任务的类别数量； 0045 softmax交叉熵损失函数， 计算公式9： 说明书 3/9 页 7 CN 112132839 A 7 0046 0047 公式9中， yicls代表真实样本的标签， 取值为yicls0,1， pi由神经网络输出， 代表 一个样本为第i个人的概率。 0048 本发明由于采用了以上技术方案， 具有显著的技术效果： 对输入待分割图像做图 像金字塔， 逐一输入到第一个卷积神经网络模型中， 第一个卷积神经网络模型在三个不同 深度层得到置信度热图， 置信度热图用于表示人脸分布情况。 依据置信度热图分别计算每 个置信度热图局部峰值点。

25、， 通过每个置信度热图局部峰值点快速去除每个尺度重复人脸 框， 降低后续不同尺度下人脸候选框合并时做非极大值抑制操作的耗时， 从而有效降低网 络计算成本。 0049 将第一个卷积神经网络模型生成的人脸框逐一输入到第二个卷积神经网络模型 中， 并逐一预测人脸框的置信度和边框回归值， 过滤置信度小于人脸置信度阈值的人脸框， 对大于或等于置信度阈值的人脸框位置进一步调优。 0050 将第二个卷积神经网络模型调优后的人脸框逐一输入到第三个卷积神经网络模 型中， 当人脸框置信度大于等于人脸框置信度阈值时， 第三个卷积神经网络模型调整人脸 框位置， 并对调整后的人脸框进行人脸整体区域和局部区域分割。 00。

26、51 通过本发明设计的人脸分割技术能多尺度快速的进行人脸分割， 且分割精度高， 能降低整体的网络计算成本， 适宜于计算资源有限的嵌入式平台。 0052 利用本发明中的局部区域分割， 可以把人脸的关键区域提取出来， 利用对应的卷 积神经网络， 提取到对应的局部特征， 从而对特定人物进行细粒度的比对识别。 附图说明 0053 图1是本发明的组成示意图。 0054 图2是本发明的第一个卷积神经网络模型图。 0055 图3是本发明的第二个卷积神经网络模型图。 0056 图4是本发明的第三个卷积神经网络模型图。 0057 图5是本发明的热图局部峰值点计算流程图。 0058 图6是本发明的置信度热图。 0。

27、059 图7是本发明实施例5自动训练和测试系统图。 0060 图8是本发明实施例6的结构图。 具体实施方式 0061 下面结合附图与实施例对本发明作进一步详细描述。 0062 实施例1 0063 一种基于深度卷积级联网络的多尺度快速人脸分割方法， 包括以下步骤： 0064 S1： 人脸候选框生成； 对输入的待分割图像做图像金字塔， 并逐一输入到第一个卷 积神经网络模型， 第一个卷积神经网络模型在不同深度层预测不同尺度人脸候选框， 实现 多尺度人脸候选框预测； 0065 在三个不同深度层会得到置信度热图， 用于表示人脸分布情况。 然后分别计算每 说明书 4/9 页 8 CN 112132839 。

28、A 8 个置信度热图局部峰值点， 置信度局部峰值点为置信度热图局部区域置信度值最大的位 置， 通过置信度局部峰值点快速去除每个尺度重复的人脸框； 有效降低后续不同尺度下人 脸候选框合并时做NMS操作的耗时， NMS操作步骤： 0066 第一步， 将所有得到的人脸框按置信度值大小进行降序排序， 选取置信度值最大 的人脸框； 0067 第二步， 依次遍历其余所有人脸框， 如果该人脸框和置信度最大人脸框的重叠面 积大于一定的阈值， 则删除该人脸框； 该阈值设置的范围为0.5至0.9， 依据实际的应用场景 进行设置； 0068 第三步， 从未处理的人脸框中继续选取置信度值最大的人脸框， 重复上述第二步。

29、。 0069 非极大值抑制操作计算量为指数级增长， 当人脸框很多时， 计算量会比人脸少时 多很多。 0070 S2： 人脸框分类和回归； 将S1中预测的人脸框输入到第二个卷积神经网络模型中， 第二个卷积神经网络模型逐一预测人脸框的置信度和边框回归值； 0071 当人脸框置信度小于人脸框置信度阈值时， 第二个卷积神经网络模型过滤人脸 框； 否则对人脸框的位置进行调优； 并输出调优后的人脸框； 人脸框置信度阈值设置为0.7； 0072 S3： 将S2中调优后的人脸框输入到第三个卷积神经网络模型中， 第三个卷积神经 网络模型根据S2过滤人脸框； 0073 当人脸框置信度大于等于人脸框置信度阈值时， 。

30、第三个卷积神经网络模型调整人 脸框位置， 并对调整后的人脸框进行人脸整体区域和局部区域分割； 人脸框置信度阈值设 置为0.7； 0074 S4： 结果输出， 将S3中分割后的结果输出。 0075 S1中的第一个卷积神经网络模型为轻量级特征金字塔网络模型， 网络深度为6层， 网络最大通道数量为32； 特征金字塔网络模型接收输入图像， 在三个不同深度层得到不同 置信度热图， 用于表示人脸分布情况； 根据不同置信度热图计算置信度热图局部峰值点， 根 据置信度热图局部峰值点去除每个尺度重复人脸框。 通过在不同深度同时预测不同尺度人 脸候选框， 实现多尺度人脸框预测。 0076 置信度热图局部峰值点的计。

31、算包括如下步骤： 0077 公式1对置信度热图进行最大池化操作， 得到置信度热图极大值特征图； 0078 0079公式1中，和分别表示当前层和前一层第k个特征图， down(.)为下采样函 数，表示当前层第k个特征图的加权系数，表示当前池化层第k个特征图的偏置。 在置 信度热图极大值特征图计算中，和分别表示置信度热图极大值特征图和置信度热 图； 0080 置信度热图仅表示人脸分布情况， 所以k为1， 设置最大池化层步长为1。 经过最大 池化层计算， 置信度热图与置信度热图极大值特征图分辨率大小相同， 且k都为1； 0081 步骤2， 将同一位置的置信度热图对应位置的值与步骤1的置信度热图极大值。

32、特征 图对应位置的值进行对比， 当对应位置的值相同， 该位置赋值为1； 当对应位置的值不同， 该 说明书 5/9 页 9 CN 112132839 A 9 位置赋值为0； 得到置信度热图局部峰值点位置特征图； 0082 0083 公式2中， Aij表示置信度热图第i行第j列像素值， Bij表示置信度热图极大值特征 图第i行第j列像素值， Cij表示置信度热图局部峰值点位置特征图第i行第j列像素值， i取 值范围为0,M-1， J取值范围为0,N-1， M表示置信度热图的高， N表示置信度热图的宽； 置 信度热图极大值特征图和置信度热图局部峰值点位置特征图的分辨率大小相同； 0084 步骤3， 。

33、将同一位置的置信度热图对应位置的值与步骤2的置信度热图局部峰值点 位置特征图对应位置的值相乘， 公式3生成置信度热图局部峰值点特征图； 0085 DijAijCij 公式3 0086 公式3中， Aij表示置信度热图第I行第J列像素值， Cij表示置信度热图局部峰值点 位置特征图第i行第j列像素值， Dij表示置信度热图局部峰值点特征图第i行第j列像素值， i 取值范围为0,M-1， j取值范围为0,N-1， M表示置信度热图的高， N表示置信度热图的宽。 0087 假设置信度热图为矩阵AMN， 置信度热图极大值特征图为矩阵BMN， 置信度热图局部 峰值点位置特征图为矩阵CMN， 置信度热图局。

34、部峰值点特征图为DMN； 0088 当Aij与Bij相等， 则Cij为1， 否则Cij为0； 0089 DijAij*Cij； 0090 其中i(0M-1)、 j(0N-1)。 0091 置信度热图、 置信度热图极大值特征图、 置信度热图局部峰值点位置特征图和置 信度热图局部峰值点特征图为分辨率大小相同。 0092 通过分别计算每个热图局部峰值点， 可以快速的去除每个尺度重复的人脸框， 有 效降低后续不同尺度下人脸候选框合并时做NMS(非极大值抑制)操作的耗时， 降低了网络 计算成本。 0093 对于每个输入人脸输出维度为km2的分割特征图， 即K个分辨率为MM的人脸分割 分支任务输出特征图，。

35、 K表示类别数量， 对每个像素使用sigmoid函数， sigmoid函数计算公 式如下： 0094 0095 其中， i代表输出特征图中一个像素值， Si代表该像素值为人脸或人脸区域的概率 值； 0096 对于分割任务损失函数， 使用sigmoid交叉熵损失函数， 计算公式如下： 0097 0098 其中， yimask代表特征图中像素值真实的标签， 取值为yimask0,1， Si由卷积神经 网络输出， 代表像素值为人脸或人脸区域的概率值。 0099 S2中的第二个卷积神经网络模型为人脸分类与回归网络结构， 网络深度为5层， 为 下采样的卷积神经网络模型。 S3中的第三个卷积神经网络模型为。

36、人脸分割网络模型， 先下 说明书 6/9 页 10 CN 112132839 A 10 采样后上采样的卷积神经网络模型。 0100 S3中的分割通过像素级别分类实现， 在输出特征图中， 对每一个位置是否为人脸 整体区域和眼鼻嘴等局部区域进行像素级别分类， 从而实现分割。 0101 第一个卷积神经网络模型和第二个卷积神经网络模型， 这两个模型同时实现人脸 分类和人脸边框回归两项任务， 多任务损失函数定义为： 0102 LlossLcls+Lbox 公式6 0103 公式6中， LLOSS表示人脸分类和人脸边框回归两项任务总的LOSS值， LCLS表示人脸 分类任务LOSS值， LBOX表示人脸边。

37、框回归任务LOSS值。 0104 对于第三个卷积神经网络模型， 该模型同时实现人脸分类， 人脸边框回归和人脸 分割三项任务， 多任务损失函数定义为： 0105 LlossLcls+Lbox+Lmask 公式7 0106 公式7中， LLOSS表示人脸分类， 人脸边框回归和人脸分割三项任务总的LOSS值， LCLS 表示人脸分类任务LOSS值， LBOX表示人脸边框回归任务LOSS值， LMASK表示人脸分割任务LOSS 值。 0107 依据附图6所示， 依据附图6所示， 图中白色中间的黑色内的区域代表人脸置信度 高的区域， 即为人脸分布区域。 0108 最大池化为现有技术中的取局部接受域中最大。

38、值的技术。 0109 实施例2 0110 在实施例1基础上， 依据附图2所示的第一个卷积神经网络结构， 全卷积网络大小 为24*24分辨率， conv表示卷积层， pool表示池化层， conv/dw与conv结合表示深度可分离卷 积层。 0111 输入图像首先经过卷积层conv1和最大池化层pool1， 得到第一层输出特征图； 0112 经过深度可分离卷积层conv2-1/dw与conv2， 得到第二层输出特征图； 0113 经过深度可分离卷积层conv3-1/dw与conv3， 得到第三层输出特征图； 0114 第三层输出特征图有三个输出层， 第一个经过卷积层conv4-1， 得到表示人脸。

39、分 类置信度的特征图， 即置信度热图， 第二个经过卷积层conv4-2， 得到表示人脸边框回归位 置的特征图， 第三个经过深度可分离卷积层conv5-1/dw与conv5， 得到第四层输出特征图； 0115 第四层输出特征图与第三层输出特征图类似， 也有三个输出层， 第一个经过卷 积层conv6-1， 得到表示人脸分类置信度的特征图， 第二个经过卷积层conv6-2， 得到表示人 脸边框回归位置的特征图， 第三个经过深度可分离卷积层conv7-1/dw与conv7， 得到第五层 输出特征图； 0116 第五层输出特征图， 经过卷积层conv8-1， 得到表示人脸分类置信度的特征图， 经过卷积层。

40、conv8-2， 得到表示人脸边框回归位置的特征图。 0117 实施例3 0118 在实施例1和实施例2基础上， 依据附图3所示， 第二个卷积神经网络结构经过一系 列卷积和池化操作， 得到人脸置信度和人脸边框回归值， 过滤低于人脸置信度阈值的人脸 候选框， 并对通过人脸置信度阈值的人脸框进一步回归， 使得人脸框位置更精确， 位置回归 后的人脸框作为第三个卷积神经网络模型的输入。 人脸框的输出位置由边框回归值确定， 其计算公式如下： 说明书 7/9 页 11 CN 112132839 A 11 0119 TX1(GX1-PX1)/(PX2-PX1) 0120 TY1(GY1-PY1)/(PY2-。

41、PY1) 0121 TX2(GX2-PX2)/(PX2-PX1) 0122 TY2(GY2-PY2)/(PY2-PY1) 0123 公式中， TX1、 TY1、 TX2、 TY2为边框回归值， GX1、 GY1、 GX2、 GY2为真实人脸框坐标， PX1、 PY1、 PX2、 PY2为预测人脸框坐标。 0124 调优人脸框位置， 通过测试集对训练模型进行测量， 通过测试准确率和召回率指 标确定人脸框的最优值， 从而确定最好的训练模型。 由于第二个卷积神经网络模型比第一 个卷积神经网络模型复杂， 学习能力更强， 所以调优后人脸框位置更贴近于真实人脸。 0125 实施例4 0126 在实施例1、。

42、 实施例2和实施例3的基础上， 依据附图4所示， 第三个卷积神经网络结 构， 是一个轻量级卷积神经网络。 图像逐一输入到人脸分割网络结构中， 经过一系列卷积、 池化和反卷积等操作， 在中间层得到人脸置信度和人脸边框回归值， 继续过滤人脸置信度 低于人脸置信度阈值的人脸框， 同时对人脸边框进行精细化回归， 使得人脸框位置更加精 确， 在最后一层， 实现对人脸图像进行分割， 该人脸分割CNN网络可以进行人脸整体区域分 割， 同时能够实现眼鼻嘴等局部人脸区域分割。 0127 实施例5 0128 在实施例1的基础上， 依据附图7所示， 构成人脸分割自动训练和测试系统， 人脸分 割自动训练和测试系统包括。

43、训练集、 测试集、 人脸数据、 模型训练模块、 模型筛选模块、 人脸 分割CNN网络和分割输出模块。 基于实施例1设计好的人脸分割网络结构， 使用训练集进行 模型训练， 再使用测试集对训练出的模型进行测试， 剔除不合格模型， 保留合格模型， 将收 集整理的人脸数据输入到人脸分割网络模型中， 得到分割结果， 对于分割结果较差的人脸 数据， 进行标注后可加入训练集， 进行迭代训练。 0129 模型训练模块接收训练集， 并对训练集进行端对端的训练形成训练模型， 模型训 练模块保存训练模型； 0130 模型训练模块与模型筛选模块连接， 并将训练模型传送至模型筛选模块； 模型筛 选模块接收测试集， 并依。

44、据测试集对训练模型进行测试； 当训练模型的测试指标在测试集 阈值内， 保留该训练模型， 否则删除训练模型； 0131 模型筛选模块与人脸分割CNN网络连接， 并将保留的训练模型输送至人脸分割CNN 网络； 0132 人脸分割CNN网络将自行收集和整理人脸数据， 输入到保留后的人脸分割模型中， 进行人脸分割操作； 人脸分割CNN网络既实现人脸整体区域分割， 也实现眼鼻嘴等局部人脸 区域分割； 对于分割结果较差的人脸数据， 进行标注后可加入训练集， 进行迭代训练。 0133 训练集包括widerface数据集， 自行收集和标注的人脸训练集； 测试集包括fddb测 试集， 自行收集和标注的人脸测试指。

45、标； 测试指标包括召回率、 误检率和分割精度。 人脸召 回率、 误检率和分割精度的阈值依据具体的应用场景进行设置。 0134 实施例6 0135 在上述实施例基础上， 本实施例依据附图8所示， 其还包括对分割后的图像关键部 位分别设计用于局部区域特征提取的32*32的卷积神经网络。 说明书 8/9 页 12 CN 112132839 A 12 0136 根据最后的人脸局部区域分割结果， 取得局部区域图片， 输入到对应的卷积神经 网络， 得到局部特征； 如： 输入两张人脸的嘴巴图片， 得到对应的特征为F1和F2， 特征维度为 M， 为了提高识别效果， 将F1和F2分别进行归一化为G1和G2， 其中G1和G2的元素个数为M； 公 式10为计算G1和G2的相似度： 0137 SIMG1K*G2K 公式10 0138 G1K是特征G1的元素， G2K是特征G2的元素， 根据相似度SIM的大小判断是否为同一 个人， 针对特定人脸以及相似人脸达到更为精准的识别效果。 说明书 9/9 页 13 CN 112132839 A 13 图1 图2 图3 说明书附图 1/3 页 14 CN 112132839 A 14 图4 图5 图6 说明书附图 2/3 页 15 CN 112132839 A 15 图7 图8 说明书附图 3/3 页 16 CN 112132839 A 16 。