基于信息融合的目标识别方法、系统、计算机设备和存储介质.pdf

《基于信息融合的目标识别方法、系统、计算机设备和存储介质.pdf》由会员分享，可在线阅读，更多相关《基于信息融合的目标识别方法、系统、计算机设备和存储介质.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010893429.3 (22)申请日 2020.08.31 (71)申请人 南京理工大学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 张伟斌崔旋旋 (74)专利代理机构 南京理工大学专利中心 32203 代理人 朱炳斐 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) (54)发明名称 基于信息融合的目标识别方法、 系统、 计算 机设备和存储介质 (57)摘。

2、要 本发明公开了一种基于信息融合的目标识 别方法、 系统、 计算机设备和存储介质， 方法包 括： 利用毫米波雷达和摄像机同时分别采集某一 交通路段的场景信息， 构成交通数据集； 利用目 标识别数据集对Faster RCNN模型进行训练， 获 得Faster RCNN模型各层的权重值； 所述目标识 别数据集中包括行人、 车辆； 对毫米波雷达和摄 像机分别采集的数据进行融合； 结合所述融合后 的信息和训练后的Faster RCNN模型， 实现目标 识别。 本发明方法不仅可以提高Faster RCNN对 交通环境中小目标和重叠目标的识别精确度， 还 可以感知交通目标的距离信息。 权利要求书2页 说明。

3、书6页 附图2页 CN 112115810 A 2020.12.22 CN 112115810 A 1.一种基于信息融合的目标识别方法， 其特征在于， 所述方法包括以下步骤： 步骤1， 利用毫米波雷达和摄像机同时分别采集某一交通路段的场景信息， 构成交通数 据集； 步骤2， 利用目标识别数据集对Faster R-CNN模型进行训练， 获得Faster R-CNN模型各 层的权重值； 所述目标识别数据集中包括行人、 车辆； 步骤3， 对毫米波雷达和摄像机分别采集的数据进行融合； 步骤4， 结合所述融合后的信息和训练后的Faster R-CNN模型， 实现目标识别。 2.根据权利要求1所述的基于信。

4、息融合的目标识别方法， 其特征在于， 步骤2中所述目 标识别数据集采用Pascal VOC2007数据集或Pascal VOC2012数据集。 3.根据权利要求1所述的基于信息融合的目标识别方法， 其特征在于， 步骤3中所述对 毫米波雷达和摄像机分别采集的数据进行融合， 具体包括： 时间融合： 将毫米波雷达和摄像机分别采集的数据归一化至同一时间轴上， 实现数据 的时间同步； 空间融合： 将毫米波雷达和摄像机分别采集的数据统一至同一坐标系下； 假设摄像机 安装的高度为H， 俯仰角为 ， Orw-xrwyrwzrw为雷达投影坐标系， Ocw-xcwycwzcw为摄像机投影坐 标系， Oc-xcyc。

5、zc为摄像头坐标系， Op-xpyp为图像坐标系， 雷达投影坐标系与图像坐标系之间 的转化关系为： 4.根据权利要求1所述的基于信息融合的目标识别方法， 其特征在于， 步骤4所述结合 所述融合后的信息和训练后的Faster R-CNN模型， 实现目标识别， 具体为： 将融合后毫米波雷达信息输入Faster R-CNN模型的分类和回归层； 将融合后的摄像机采集的数据作为Faster R-CNN模型的输入。 5.一种基于信息融合的目标识别系统， 其特征在于， 所述系统包括： 数据采集模块， 用于利用毫米波雷达和摄像机同时分别采集某一交通路段的场景信 息， 构成交通数据集； 训练模块， 用于利用目标。

6、识别数据集对Faster R-CNN模型进行训练， 获得Faster R- CNN模型各层的权重值； 所述目标识别数据集中包括行人、 车辆； 数据融合模块， 用于对毫米波雷达和摄像机分别采集的数据进行融合； 目标识别模块， 用于结合所述融合后的信息和训练后的Faster R-CNN模型， 实现目标 识别。 6.根据权利要求5所述的基于信息融合的目标识别系统， 其特征在于， 所述数据融合模 块， 包括： 时间融合单元， 用于将毫米波雷达和摄像机分别采集的数据归一化至同一时间轴上， 实现数据的时间同步； 空间融合单元， 用于将毫米波雷达和摄像机分别采集的数据统一至同一坐标系下； 假 权利要求书 1。

7、/2 页 2 CN 112115810 A 2 设摄像机安装的高度为H， 俯仰角为 ， Orw-xrwyrwzrw为雷达投影坐标系， Ocw-xcwycwzcw为摄像 机投影坐标系， Oc-xcyczc为摄像头坐标系， Op-xpyp为图像坐标系， 雷达投影坐标系与图像坐 标系之间的转化关系为： 7.根据权利要求6所述的基于信息融合的目标识别系统， 其特征在于， 所述目标识别模 块用于结合所述融合后的信息和训练后的Faster R-CNN模型， 实现目标识别， 具体包括： 将融合后毫米波雷达信息输入Faster R-CNN模型的分类和回归层； 将融合后的摄像机采集的数据作为Faster R-C。

8、NN模型的输入。 8.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至4中任一项所 述方法的步骤。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求1至4中任一项所述的方法的步骤。 权利要求书 2/2 页 3 CN 112115810 A 3 基于信息融合的目标识别方法、 系统、 计算机设备和存储介质 技术领域 0001 本发明属于目标检测领域， 特别涉及一种基于信息融合的目标识别方法、 系统、 计 算机设备和存储介质。 背景技术 。

9、0002 随着卷积深度学习网络的发展和GPU算力的提高， 目标检测能力和效率得到了显 著地提高。 目前， 利用深度学习来进行目标检测的方式主要有两类， 基于回归(regression based)的检测方法和基于对象候选区域(object proposal based)的检测算法。 0003 基于回归的目标检测算法又称为One Stage算法， 特点是仅需要将数据送入网络， 一次可以预测出所有边界框， 节省时间， 一步到位， 计算速度相对较快。 YOLO(You Look Only Once)算法和SSD算法为经典的One Stage算法。 YOLO算法是一类图像分割算法， 它首 先将图像按一。

10、定大小分割成相同大小的小方块， 在分割后的小方块中进行目标分类， 理论 上来说， 当图像分割程度越精细， 网络检测识别能力越强。 虽然YOLO检测网络在数据处理运 算速度上极具优势， 但在精准定位和识别率上还略有不足。 于是Liu等人在 SSD:Single Shot MultiBox Detector 中提出了SSD检测网络。 SSD检测算法是将YOLO网络和Faster R- CNN检测网络进行结合， 回归多个不同尺寸的候选框， 并且赋予每个候选框类别和分数。 另 外， SSD检测算法可以将不同尺寸的特征图进行结合后预测， 实现处理各个尺寸图像的目 的。 SSD检测算法不仅拥有Faster。

11、 R-CNN检测算法目标检测的高精度， 同时也拥有YOLO检测 算法的高速运算能力， 成为One Stage检测算法的经典代表作之一。 0004 基于对象候选区域算法通常又被称为two stage算法。 这种算法是利用卷积神经 网络来对候选框(bounding box)进行训练进而进行分类和回归。 在2014年， 大神Girshick 等人提出了经典的R-CNN检测方法， 极大拓宽了卷积神经网络特征提取的能力。 同时， 目标 检测能力也得到了相应提升。 后来Girshick等人提出了性能更加优秀的Fast R-CNN， 在该 网络结构框架下， 网络中所有的网络层都可以进行反向传播来进行更新， 。

12、不但简化了机器 学习的过程， 而且使得目标检测准确率得到了显著提高。 在2016年， Girshick等人再次提出 了Faster R-CNN卷积神经网络， 它利用RPN(Regional Proposal Network)层来进行滑动窗 口(slide window)检测， 通过遍历整张图片或者视频， 将符合特征提取提取到的信息通过 候选框框出， 从而达到目标检测的目的。 目前， 高精度的目标检测检测器基本上都是基于 Faster R-CNN网络结构来进行的， Faster R-CNN广泛应用于各个领域的目标检测任务当 中。 但Faster R-CNN网络针对小目标、 重叠目标的识别精度不高。

13、。 发明内容 0005 本发明的目的在于针对上述现有技术的不足， 提供一种基于图像与毫米波雷达信 息融合的交通目标识别方法， 克服现有方法中Faster R-CNN网络对小目标、 重叠目标的识 别精度不高的问题。 0006 实现本发明目的的技术解决方案为： 一种基于信息融合的目标识别方法， 所述方 说明书 1/6 页 4 CN 112115810 A 4 法包括以下步骤： 0007 步骤1， 利用毫米波雷达和摄像机同时分别采集某一交通路段的场景信息， 构成交 通数据集； 0008 步骤2， 利用目标识别数据集对Faster R-CNN模型进行训练， 获得Faster R-CNN模 型各层的权重。

14、值； 所述目标识别数据集中包括行人、 车辆； 0009 步骤3， 对毫米波雷达和摄像机分别采集的数据进行融合； 0010 步骤4， 结合所述融合后的信息和训练后的Faster R-CNN模型， 实现目标识别。 0011 进一步地， 步骤3中所述对毫米波雷达和摄像机分别采集的数据进行融合， 具体包 括： 0012 时间融合： 将毫米波雷达和摄像机分别采集的数据归一化至同一时间轴上， 实现 数据的时间同步； 0013 空间融合： 将毫米波雷达和摄像机分别采集的数据统一至同一坐标系下； 假设设 摄像机安装的高度为H， 俯仰角为 ， Orw-xrwyrwzrw为雷达投影坐标系， Ocw-xcwycwz。

15、cw为摄像机 投影坐标系， Oc-xcyczc为摄像头坐标系， Op-xpyp为图像坐标系， 雷达投影坐标系与图像坐标 系之间的转化关系为： 0014 0015 进一步地， 步骤4所述结合所述融合后的信息和训练后的Faster R-CNN模型， 实现 目标识别， 具体为： 0016 将融合后毫米波雷达信息输入Faster R-CNN模型的分类和回归层； 0017 将融合后的摄像机采集的数据作为Faster R-CNN模型的输入。 0018 一种基于信息融合的目标识别系统， 所述系统包括： 0019 数据采集模块， 用于利用毫米波雷达和摄像机同时分别采集某一交通路段的场景 信息， 构成交通数据集。

16、； 0020 训练模块， 用于利用目标识别数据集对Faster R-CNN模型进行训练， 获得Faster R-CNN模型各层的权重值； 所述目标识别数据集中包括行人、 车辆； 0021 数据融合模块， 用于对毫米波雷达和摄像机分别采集的数据进行融合； 0022 目标识别模块， 用于结合所述融合后的信息和训练后的Faster R-CNN模型， 实现 目标识别。 0023 一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的 计算机程序， 处理器执行计算机程序时实现以下步骤： 0024 步骤1， 利用毫米波雷达和摄像机同时分别采集某一交通路段的场景信息， 构成交 通数据集；。

17、 0025 步骤2， 利用目标识别数据集对Faster R-CNN模型进行训练， 获得Faster R-CNN模 型各层的权重值； 所述目标识别数据集中包括行人、 车辆； 0026 步骤3， 对毫米波雷达和摄像机分别采集的数据进行融合； 0027 步骤4， 结合所述融合后的信息和训练后的Faster R-CNN模型， 实现目标识别。 说明书 2/6 页 5 CN 112115810 A 5 0028 一种计算机可读存储介质， 其上存储有计算机程序， 计算机程序被处理器执行时 实现以下步骤： 0029 步骤1， 利用毫米波雷达和摄像机同时分别采集某一交通路段的场景信息， 构成交 通数据集； 00。

18、30 步骤2， 利用目标识别数据集对Faster R-CNN模型进行训练， 获得Faster R-CNN模 型各层的权重值； 所述目标识别数据集中包括行人、 车辆； 0031 步骤3， 对毫米波雷达和摄像机分别采集的数据进行融合； 0032 步骤4， 结合所述融合后的信息和训练后的Faster R-CNN模型， 实现目标识别。 0033 本发明与现有技术相比， 其显著优点为： 1)实现对交通环境中小目标、 重叠目标的 高精确识别； 2)利用毫米波雷达增加了交通环境中目标的距离信息， 为自动驾驶提供更加 丰富的目标信息。 0034 下面结合附图对本发明作进一步详细描述。 附图说明 0035 图1。

19、为一个实施例中本发明基于信息融合的目标识别方法的流程图。 0036 图2为一个实施例中毫米波雷达和摄像机安装的相对位置信息图。 0037 图3为一个实施例中Faster R-CNN算法流程图。 0038 图4为一个实施例中Faster R-CNN识别结果与融合毫米波雷达信息后的Faster R-CNN识别结果对比图， 其中图(a)为交通场景中小目标检测原始图， 图(b)为Faster R-CNN 对交通场景中小目标识别图， 图(c)为改进后的Faster R-CNN对交通场景中小目标识别图， 图(d)为交通场景中重叠目标检测原始图， 图(e)为Faster R-CNN对交通场景中重叠目标识 别。

20、结果图， 图(f)为改进后的Faster R-CNN对交通场景中重叠目标识别结果图。 具体实施方式 0039 为了使本申请的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本申请进行进一步详细说明。 应当理解， 此处描述的具体实施例仅仅用以解释本申请， 并不 用于限定本申请。 0040 在一个实施例中， 结合图1， 提供了一种基于图像与毫米波雷达信息融合的交通目 标识别方法， 所述方法包括以下步骤： 0041 步骤1， 利用毫米波雷达和摄像机同时分别采集某一交通路段的场景信息， 构成交 通数据集； 0042 步骤2， 利用目标识别数据集对Faster R-CNN模型进行训练，。

21、 获得Faster R-CNN模 型各层的权重值； 所述目标识别数据集中包括行人、 车辆； 0043 这里， 目标识别数据集采用VOC数据集， 包括Pascal VOC2007数据集或Pascal VOC2012数据集。 0044 进一步优选地， 采用Pascal VOC2007数据集， 该数据集一共分为20类， 有9963张图 片。 0045 步骤3， 对毫米波雷达和摄像机分别采集的数据进行融合； 0046 步骤4， 结合所述融合后的信息和训练后的Faster R-CNN模型， 实现目标识别。 说明书 3/6 页 6 CN 112115810 A 6 0047 进一步地， 在其中一个实施例中。

22、， 步骤3中所述对毫米波雷达和摄像机分别采集的 数据进行融合， 具体包括： 0048 时间融合： 将毫米波雷达和摄像机分别采集的数据归一化至同一时间轴上， 实现 数据的时间同步； 0049 这里， 毫米波雷达与摄像机的时间融合主要是指两个传感器的数据采集频率不 同， 二者在时间上的统一。 其中， 毫米波雷达的采集频率为60帧/秒， 而摄像机为30帧/秒， 选 择将摄像机数据统一到毫米波雷达上， 利用人工筛选剔除毫米波雷达中的杂波信息并利用 线性表实现毫米波雷达目标信息和摄像机图像数据在时间上的统一。 0050 空间融合： 将毫米波雷达和摄像机分别采集的数据统一至同一坐标系下； 摄像机 和毫米波。

23、雷达的空间位置关系如图2所示， 假设摄像机安装的高度为H， 俯仰角为， Orw- xrwyrwzrw为雷达投影坐标系， Ocw-xcwycwzcw为摄像机投影坐标系， Oc-xcyczc为摄像头坐标系， Op-xpyp为图像坐标系， 结合图2， 雷达投影坐标系与图像坐标系之间的转化关系为： 0051 0052 进一步地， 在其中一个实施例中， 步骤4所述结合所述融合后的信息和训练后的 Faster R-CNN模型， 实现目标识别， 其流程图3所示， 具体为： 0053 将融合后毫米波雷达信息输入Faster R-CNN模型的分类和回归层； 0054 将融合后的摄像机采集的数据作为Faster 。

24、R-CNN模型的输入。 0055 这里， 是利用融合后的信息对Faster R-CNN模型进行了改进， 模型包括： 0056 卷积层： 用于提取图片的特征， 输入为整张图片， 输出为提取出的特征称为 feature maps。 0057 RPN： 网络(Region Proposal Network)， 用于推荐候选区域的、 。 输入为图片(因为 这里RPN网络和Fast R-CNN共用同一个CNN， 所以这里输入也可以认为是featrue maps)， 输 出为多个候选区域。 0058 RoI-Pooling： 将不同大小的输入转换为固定长度的输出。 0059 毫米波雷达信息分类回归层， 利。

25、用融合后的毫米波雷达信息对Fast R-CNN生成候 选区域位置进行细化和调整， 实现基于图像与毫米波雷达信息融合的交通目标识别。 0060 在一个实施例中， 提供了一种基于信息融合的目标识别系统， 所述系统包括： 0061 数据采集模块， 用于利用毫米波雷达和摄像机同时分别采集某一交通路段的场景 信息， 构成交通数据集； 0062 训练模块， 用于利用目标识别数据集对Faster R-CNN模型进行训练， 获得Faster R-CNN模型各层的权重值； 所述目标识别数据集中包括行人、 车辆； 0063 数据融合模块， 用于对毫米波雷达和摄像机分别采集的数据进行融合； 0064 目标识别模块，。

26、 用于结合所述融合后的信息和训练后的Faster R-CNN模型， 实现 目标识别。 0065 进一步地， 在其中一个实施例中， 所述数据融合模块， 包括： 0066 时间融合单元， 用于将毫米波雷达和摄像机分别采集的数据归一化至同一时间轴 说明书 4/6 页 7 CN 112115810 A 7 上， 实现数据的时间同步； 0067 空间融合单元， 用于将毫米波雷达和摄像机分别采集的数据统一至同一坐标系 下； 假设设摄像机安装的高度为H， 俯仰角为 ， Orw-xrwyrwzrw为雷达投影坐标系， Ocw-xcwycwzcw 为摄像机投影坐标系， Oc-xcyczc为摄像头坐标系， Op-x。

27、pyp为图像坐标系， 雷达投影坐标系与 图像坐标系之间的转化关系为： 0068 0069 进一步地， 在其中一个实施例中， 所述目标识别模块用于结合所述融合后的信息 和训练后的Faster R-CNN模型， 实现目标识别， 具体包括： 0070 将融合后毫米波雷达信息输入Faster R-CNN模型的分类和回归层； 0071 将融合后的摄像机采集的数据作为Faster R-CNN模型的输入。 0072 关于基于信息融合的目标识别系统的具体限定可以参见上文中对于基于信息融 合的目标识别方法的限定， 在此不再赘述。 上述基于信息融合的目标识别系统中的各个模 块可全部或部分通过软件、 硬件及其组合来。

28、实现。 上述各模块可以硬件形式内嵌于或独立 于计算机设备中的处理器中， 也可以以软件形式存储于计算机设备中的存储器中， 以便于 处理器调用执行以上各个模块对应的操作。 0073 在一个实施例中， 提供了一种计算机设备， 包括存储器、 处理器及存储在存储器上 并可在处理器上运行的计算机程序， 处理器执行计算机程序时实现以下步骤： 0074 步骤1， 利用毫米波雷达和摄像机同时分别采集某一交通路段的场景信息， 构成交 通数据集； 0075 步骤2， 利用目标识别数据集对Faster R-CNN模型进行训练， 获得Faster R-CNN模 型各层的权重值； 所述目标识别数据集中包括行人、 车辆； 。

29、0076 步骤3， 对毫米波雷达和摄像机分别采集的数据进行融合； 0077 步骤4， 结合所述融合后的信息和训练后的Faster R-CNN模型， 实现目标识别。 0078 关于每一步的具体限定可以参见上文中对于基于信息融合的目标识别方法的限 定， 在此不再赘述。 0079 在一个实施例中， 提供了一种计算机可读存储介质， 其上存储有计算机程序， 计算 机程序被处理器执行时实现以下步骤： 0080 步骤1， 利用毫米波雷达和摄像机同时分别采集某一交通路段的场景信息， 构成交 通数据集； 0081 步骤2， 利用目标识别数据集对Faster R-CNN模型进行训练， 获得Faster R-CNN。

30、模 型各层的权重值； 所述目标识别数据集中包括行人、 车辆； 0082 步骤3， 对毫米波雷达和摄像机分别采集的数据进行融合； 0083 步骤4， 结合所述融合后的信息和训练后的Faster R-CNN模型， 实现目标识别。 0084 关于每一步的具体限定可以参见上文中对于基于信息融合的目标识别方法的限 定， 在此不再赘述。 0085 作为一种具体示例， 对本发明进行进一步验证说明。 Faster R-CNN的识别结果与 说明书 5/6 页 8 CN 112115810 A 8 融合毫米波雷达信息后Faster R-CNN识别结果对比图如图4所示。 其中原始帧代表测试数 据集， Faster 。

31、R-CNN代表直接使用Faster R-CNN进行识别得到的结果， 改进的Faster R- CNN代表融合毫米波雷达信息后的Faster R-CNN识别效果， 从图中可以看出， 融合毫米波雷 达信息后的Faster R-CNN在识别小目标、 重叠目标时， 精确度得到了明显的提高。 同时， 还 可以感知到识别到目标的距离信息。 0086 进一步地， 为了验证本算法具有普适性， 选取了117张行人运动目标和228张车辆 运动目标进行测试， 并利用Precision(准确率又叫查准率)进行衡量。 0087 0088 式中， TP表示检测出的真实目标， TN表示检测出的虚假目标， FP表示未检测出的。

32、真 实目标。 0089 具体的结果如下表1所示。 0090 表1查准率结果 0091 0092 从表1可以看出， 本发明改进的Faster R-CNN的查准率明显高于原始Faster R- CNN的查准率。 0093 以上显示和描述了本发明的基本原理、 主要特征及优点。 本行业的技术人员应该 了解， 本发明不受上述实施例的限制， 上述实施例和说明书中描述的只是说明本发明的原 理， 在不脱离本发明精神和范围的前提下， 本发明还会有各种变化和改进， 这些变化和改进 都落入要求保护的本发明范围内。 本发明要求保护范围由所附的权利要求书及其等效物界 定。 说明书 6/6 页 9 CN 112115810 A 9 图1 图2 说明书附图 1/2 页 10 CN 112115810 A 10 图3 图4 说明书附图 2/2 页 11 CN 112115810 A 11 。