基于网联自动驾驶的交通事件预测方法、装置及电子设备.pdf

《基于网联自动驾驶的交通事件预测方法、装置及电子设备.pdf》由会员分享，可在线阅读，更多相关《基于网联自动驾驶的交通事件预测方法、装置及电子设备.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202211167692.X (22)申请日 2022.09.23 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 申请人 国汽 （北京） 智能网联汽车研究院有 限公司 (72)发明人 李克强许庆肖小凤褚文博 乌尼日其其格吴洋 (74)专利代理机构 北京清亦华知识产权代理事 务所(普通合伙) 11201 专利代理师 顾鲜红 (51)Int.Cl. G06N 3/0464(2023.01) G06N 3/0442(2023.01) G06F 18/241(2023.01) 。

2、G06N 3/08(2023.01) G08G 1/0967(2006.01) (54)发明名称 基于网联自动驾驶的交通事件预测方法、 装 置及电子设备 (57)摘要 本申请涉及一种基于网联自动驾驶的交通 事件预测方法、 装置及电子设备， 其中， 方法包 括： 获取目标区域内的路侧相机采集的第一视野 范围内的图像、 路侧雷达采集的第一视野范围内 的点云数据、 车载相机采集的第二视野范围内的 图像和/或车载雷达采集的第二视野范围内的点 云数据； 并融合得到目标区域的融合感知数据， 并基于预设的交通场景分类， 对融合感知数据分 类， 得到目标区域内的交通场景分类结果， 并输 入至预设的交通事件预测。

3、模型， 得到车流动态分 布预测结果和人群意图预测结果， 并输入至预设 的交通事件预测模型， 得到交通事件预测结果。 由此， 解决了相关技术无法采集到危险事件因素 的完整数据， 无法对多重风险的条件因素进行计 算评估的问题。 权利要求书2页 说明书10页 附图4页 CN 115618932 A 2023.01.17 CN 115618932 A 1.一种基于网联自动驾驶的交通事件预测方法， 其特征在于， 包括以下步骤： 获取目标区域内的路侧相机采集的第一视野范围内的图像、 路侧雷达采集的所述第一 视野范围内的点云数据、 车载相机采集的第二视野范围内的图像和/或车载雷达采集的所 述第二视野范围内的。

4、点云数据； 融合所述第一视野范围内的图像、 所述第一视野范围内的点云数据、 所述第二视野范 围内的图像和/或所述第二视野范围内的点云数据， 得到所述目标区域的融合感知数据； 基于预设的交通场景分类， 对所述融合感知数据分类， 得到所述目标区域内的交通场 景分类结果， 并将所述融合感知数据和所述交通场景分类结果输入至预设的交通事件预测 模型， 得到车流动态分布预测结果和人群意图预测结果； 以及 将所述车流动态分布和人群意图预测结果输入至所述预设的交通事件预测模型， 得到 交通事件预测结果。 2.根据权利要求1所述的方法， 其特征在于， 在融合所述第一视野范围内的图像、 所述 第一视野范围内的点云。

5、数据、 所述第二视野范围内的图像和/或所述第二视野范围内的点 云数据之前， 还包括： 基于预设的软件同步规则、 时间同步规则和空间同步规则， 同步所述第一视野范围内 的图像、 所述第一视野范围内的点云数据、 所述第二视野范围内的图像和所述第二视野范 围内的点云数据。 3.根据权利要求1所述的方法， 其特征在于， 所述将所述融合感知数据和所述交通场景 分类结果输入至预设的交通事件预测模型， 得到车流动态分布预测结果和人群意图预测结 果， 包括： 基于预设的检测算法， 对所述融合感知数据检测计算， 得到目标车辆的位置信息和标 签信息， 以及目标人群的位置信息和标签信息； 基于预设的跟踪算法和身份识。

6、别号， 跟踪计算所述目标车辆的位置信息和标签信息、 所述目标人群的位置信息和标签信息， 得到所述目标车辆的历史轨迹信息和目标人群的历 史轨迹信息； 基于预设的LSTM深度学习网络的预测算法， 对所述目标人群的历史轨迹信息进行预 测， 得到所述人群意图预测结果； 根据所述目标车辆的历史轨迹信息估计所述目标车辆的车速， 同时基于多辆所述目标 车辆估计所述目标区域内的车流密度， 并基于所述预设的LSTM深度学习网络的预测算法， 得到所述车流动态分布预测结果。 4.根据权利要求1所述的方法， 其特征在于， 还包括： 根据所述交通事件预测结果得到交通事件的分类结果。 5.根据权利要求4所述的方法， 其特。

7、征在于， 所述交通事件的分类结果包括交通事故和 交通拥堵。 6.一种基于网联自动驾驶的交通事件预测装置， 其特征在于， 包括： 获取模块， 用于获取目标区域内的路侧相机采集的第一视野范围内的图像、 路侧雷达 采集的所述第一视野范围内的点云数据、 车载相机采集的第二视野范围内的图像和/或车 载雷达采集的所述第二视野范围内的点云数据； 融合模块， 用于融合所述第一视野范围内的图像、 所述第一视野范围内的点云数据、 所 权利要求书 1/2 页 2 CN 115618932 A 2 述第二视野范围内的图像和/或所述第二视野范围内的点云数据， 得到所述目标区域的融 合感知数据； 分类模块， 用于基于预设。

8、的交通场景分类， 对所述融合感知数据分类， 所述目标区域内 的交通场景分类结果， 并将所述融合感知数据和所述交通场景分类结果输入至预设的交通 事件预测模型， 得到车流动态分布预测结果和人群意图预测结果； 以及 预测模块， 用于将所述车流动态分布和人群意图预测结果输入至所述预设的交通事件 预测模型， 得到交通事件预测结果。 7.根据权利要求6所述的装置， 其特征在于， 在融合所述第一视野范围内的图像、 所述 第一视野范围内的点云数据、 所述第二视野范围内的图像和/或所述第二视野范围内的点 云数据之前， 所述融合模块， 还用于： 基于预设的软件同步规则、 时间同步规则和空间同步规则， 同步所述第一。

9、视野范围内 的图像、 所述第一视野范围内的点云数据、 所述第二视野范围内的图像和所述第二视野范 围内的点云数据。 8.根据权利要求6所述的装置， 其特征在于， 所述分类模块， 具体用于： 基于预设的检测算法， 对所述融合感知数据检测计算， 得到目标车辆的位置信息和标 签信息， 以及目标人群的位置信息和标签信息； 基于预设的跟踪算法和身份识别号， 跟踪计算所述目标车辆的位置信息和标签信息、 所述目标人群的位置信息和标签信息， 得到所述目标车辆的历史轨迹信息和目标人群的历 史轨迹信息； 基于预设的LSTM深度学习网络的预测算法， 对所述目标人群的历史轨迹信息进行预 测， 得到所述人群意图预测结果；。

10、 根据所述目标车辆的历史轨迹信息估计所述目标车辆的车速， 同时基于多辆所述目标 车辆估计所述目标区域内的车流密度， 并基于所述预设的LSTM深度学习网络的预测算法， 得到所述车流动态分布预测结果。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求15任一项所 述的基于网联自动驾驶的交通事件预测方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求15任一项所述的基于网联自动驾驶的交通事件预测方法。 权利要求书 2/2。

11、 页 3 CN 115618932 A 3 基于网联自动驾驶的交通事件预测方法、 装置及电子设备 技术领域 0001 本申请涉及自动驾驶技术领域， 特别涉及一种基于网联自动驾驶的交通事件预测 方法、 装置及电子设备。 背景技术 0002 网联自动汽车， 是接入网联系统的自动汽车， 除了自动汽车本身具有环境感知能 力， 还结合了路侧传感器感知、 云端服务器决策控制的更加智能的自动汽车。 路侧传感器包 括多种传感器， 如雷达、 激光雷达、 摄像机等， 路侧传感器感知结果可以作为自动汽车感知 盲区的补充， 自动汽车行驶在道路会遇到各种移动障碍物， 造成视角盲区， 成为安全隐患。 而云端服务器作为网联。

12、自动汽车的云端大脑， 可以实时处理边缘端上传的数据， 从而为每 辆自动驾驶汽车规划出合理安全的轨迹。 0003 感知预测或者事件预测， 是自动驾驶技术的重要组成部分。 通过观测行人、 车辆的 历史行为， 对其未来轨迹进行预测， 例如行人横穿马路、 车辆换道等， 自动汽车可以根据预 测结果提前预知风险， 并调整驾驶策略， 从而规避事故、 提升车辆行驶的稳定性和舒适度。 因此， 网联汽车需要在行驶过程中， 不断收集行驶环境数据， 分析判定周围是否有违反交通 规则的行为。 0004 相关技术中， 目前仅通过自动驾驶汽车采集的数据进行分析， 一般采用两种方法 实现事件预测， 一种是基于数据驱动的事件预。

13、测方法， 通过分析大量的历史数据， 并综合利 用当前场景的信息， 推断出后续事件的走向， 从而预测事件。 例如， 通过统计道路中各条车 道上车辆的数量， 可以计算出该条道路上车辆的分布情况， 当有新的车辆进入该道路， 可以 根据统计信息推断出该车将会去往各条车道的概率。 或者， 通过标注车辆在行驶过程中的 换道动作， 对卷积神经网络(Convolutional Neural Network， CNN)进行训练， 通过输入车 辆的连续历史轨迹， 可预测其保持车道/向左换道/向右换道的意图。 同理， 在自动驾驶领 域， 可以通过训练一个神经网络模型， 对未来发生的事件进行分类预测。 0005 另一。

14、种是方法是根据自动驾驶系统运行过程中通过感知传感器获取周围各个车 辆的位置、 速度等信息， 利用车辆动力学模型， 给周围车辆进行建模， 计算出这些车辆的行 驶轨迹， 从而预测出可能的碰撞或者违规时间。 这种方法的优势是能把交规、 安全距离等约 束条件加入到轨迹预测模块中， 得到更贴近现实的预测模型。 0006 然而， 相关技术均是由自动驾驶车辆采集现场数据， 以车辆采集到的数据作为基 础， 只能得出当前环境下事件的发生概率， 确定可能出现的危险事件， 但是车辆采集的数据 可能因为遮挡等原因造成盲区， 无法采集到危险事件因素的完整数据， 无法对多重风险的 条件因素进行计算评估， 准确性较低。 发。

15、明内容 0007 本申请提供一种基于网联自动驾驶的交通事件预测方法、 装置及电子设备， 以解 决车辆采集的数据可能因为遮挡等原因造成盲区， 无法采集到危险事件因素的完整数据， 说明书 1/10 页 4 CN 115618932 A 4 无法对多重风险的条件因素进行计算评估， 准确性较低的问题， 能够综合利用车端、 路端、 云端的优势， 提高交通事件预测精度。 0008 本申请第一方面实施例提供一种基于网联自动驾驶的交通事件预测方法， 包括以 下步骤： 获取目标区域内的路侧相机采集的第一视野范围内的图像、 路侧雷达采集的所述 第一视野范围内的点云数据、 车载相机采集的第二视野范围内的图像和/或车。

16、载雷达采集 的所述第二视野范围内的点云数据； 融合所述第一视野范围内的图像、 所述第一视野范围 内的点云数据、 所述第二视野范围内的图像和/或所述第二视野范围内的点云数据， 得到所 述目标区域的融合感知数据； 基于预设的交通场景分类， 对所述融合感知数据分类， 所述目 标区域内的交通场景分类结果， 并将所述融合感知数据和所述交通场景分类结果输入至预 设的交通事件预测模型， 得到车流动态分布预测结果和人群意图预测结果； 以及将所述车 流动态分布和人群意图预测结果输入至所述预设的交通事件预测模型， 得到交通事件预测 结果。 0009 可选地， 在一些实施例中， 在融合所述第一视野范围内的图像、 所。

17、述第一视野范围 内的点云数据、 所述第二视野范围内的图像和/或所述第二视野范围内的点云数据之前， 还 包括： 基于预设的软件同步规则、 时间同步规则和空间同步规则， 同步所述第一视野范围内 的图像、 所述第一视野范围内的点云数据、 所述第二视野范围内的图像和所述第二视野范 围内的点云数据。 0010 可选地， 在一些实施例中， 所述将所述融合感知数据和所述交通场景分类结果输 入至预设的交通事件预测模型， 得到车流动态分布预测结果和人群意图预测结果， 包括： 基 于预设的检测算法， 对所述融合感知数据检测计算， 得到目标车辆的位置信息和标签信息， 以及目标人群的位置信息和标签信息； 基于预设的跟。

18、踪算法和身份识别号， 跟踪计算所述 目标车辆的位置信息和标签信息、 所述目标人群的位置信息和标签信息， 得到所述目标车 辆的历史轨迹信息和目标人群的历史轨迹信息； 基于预设的LSTM(Long Short Term Memory， 长短期记忆)深度学习网络的预测算法， 对所述目标人群的历史轨迹信息进行预 测， 得到所述人群意图预测结果； 根据所述目标车辆的历史轨迹信息估计所述目标车辆的 车速， 同时基于多辆所述目标车辆估计所述目标区域内的车流密度， 并基于所述预设的 LSTM深度学习网络的预测算法， 得到所述车流动态分布预测结果。 0011 可选地， 在一些实施例中， 上述的基于网联自动驾驶的。

19、交通事件预测方法， 根据所 述交通事件预测结果得到交通事件的分类结果。 0012 可选地， 在一些实施例中， 上述的基于网联自动驾驶的交通事件预测方法， 所述交 通事件的分类结果包括交通事故和交通拥堵。 0013 本申请第二方面实施例提供一种基于网联自动驾驶的交通事件预测装置， 包括： 获取模块， 用于获取目标区域内的路侧相机采集的第一视野范围内的图像、 路侧雷达采集 的所述第一视野范围内的点云数据、 车载相机采集的第二视野范围内的图像和/或车载雷 达采集的所述第二视野范围内的点云数据； 融合模块， 用于融合所述第一视野范围内的图 像、 所述第一视野范围内的点云数据、 所述第二视野范围内的图像。

20、和/或所述第二视野范围 内的点云数据， 得到所述目标区域的融合感知数据； 分类模块， 用于基于预设的交通场景分 类， 对所述融合感知数据分类， 所述目标区域内的交通场景分类结果， 并将所述融合感知数 据和所述交通场景分类结果输入至预设的交通事件预测模型， 得到车流动态分布预测结果 说明书 2/10 页 5 CN 115618932 A 5 和人群意图预测结果； 以及预测模块， 用于将所述车流动态分布和人群意图预测结果输入 至所述预设的交通事件预测模型， 得到交通事件预测结果。 0014 可选地， 在一些实施例中， 在融合所述第一视野范围内的图像、 所述第一视野范围 内的点云数据、 所述第二视野。

21、范围内的图像和/或所述第二视野范围内的点云数据之前， 所 述融合模块， 还用于： 基于预设的软件同步规则、 时间同步规则和空间同步规则， 同步所述 第一视野范围内的图像、 所述第一视野范围内的点云数据、 所述第二视野范围内的图像和 所述第二视野范围内的点云数据。 0015 可选地， 在一些实施例中， 所述分类模块， 具体用于： 基于预设的检测算法， 对所述 融合感知数据检测计算， 得到目标车辆的位置信息和标签信息， 以及目标人群的位置信息 和标签信息； 基于预设的跟踪算法和身份识别号， 跟踪计算所述目标车辆的位置信息和标 签信息、 所述目标人群的位置信息和标签信息， 得到所述目标车辆的历史轨迹。

22、信息和目标 人群的历史轨迹信息； 基于预设的LSTM深度学习网络的预测算法， 对所述目标人群的历史 轨迹信息进行预测， 得到所述人群意图预测结果； 根据所述目标车辆的历史轨迹信息估计 所述目标车辆的车速， 同时基于多辆所述目标车辆估计所述目标区域内的车流密度， 并基 于所述预设的LSTM深度学习网络的预测算法， 得到所述车流动态分布预测结果。 0016 可选地， 在一些实施例中， 上述的基于网联自动驾驶的交通事件预测装置， 根据所 述交通事件预测结果得到交通事件的分类结果。 0017 可选地， 在一些实施例中， 上述的基于网联自动驾驶的交通事件预测装置， 所述交 通事件的分类结果包括交通事故和。

23、交通拥堵。 0018 本申请第三方面实施例提供一种电子设备， 包括： 存储器、 处理器及存储在所述存 储器上并可在所述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如上述 实施例所述的基于网联自动驾驶的交通事件预测方法。 0019 本申请第四方面实施例提供一种计算机可读存储介质， 其上存储有计算机程序， 该程序被处理器执行， 以用于实现如上述实施例所述的基于网联自动驾驶的交通事件预测 方法。 0020 由此， 通过获取目标区域内的路侧相机采集的第一视野范围内的图像、 路侧雷达 采集的第一视野范围内的点云数据、 车载相机采集的第二视野范围内的图像和/或车载雷 达采集的第二视野范围内。

24、的点云数据； 并融合得到目标区域的融合感知数据， 并基于预设 的交通场景分类， 对融合感知数据分类， 得到目标区域内的交通场景分类结果， 并输入至预 设的交通事件预测模型， 得到车流动态分布预测结果和人群意图预测结果， 并输入至预设 的交通事件预测模型， 得到交通事件预测结果。 由此， 解决了车辆采集的数据可能因为遮挡 等原因造成盲区， 无法采集到危险事件因素的完整数据， 无法对多重风险的条件因素进行 计算评估， 准确性较低的问题， 能够综合利用车端、 路端、 云端的优势， 提高交通事件预测精 度。 0021 本申请附加的方面和优点将在下面的描述中部分给出， 部分将从下面的描述中变 得明显， 。

25、或通过本申请的实践了解到。 附图说明 0022 本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得 说明书 3/10 页 6 CN 115618932 A 6 明显和容易理解， 其中： 0023 图1为根据本申请实施例提供的基于网联自动驾驶的交通事件预测方法的流程 图； 0024 图2为根据本申请一个具体实施例提供的多源多传感器融合示意图； 0025 图3为根据本申请一个具体实施例提供的交通事件预测模型示意图； 0026 图4为根据本申请一个具体实施例提供的基于网联自动驾驶的交通事件预测方法 的流程图； 0027 图5为根据本申请实施例提供的基于网联自动驾驶的交通事件预测装。

26、置的方框示 意图； 0028 图6为根据本申请实施例提供的电子设备的示意图。 0029 附图标记说明： 10基于网联自动驾驶的交通事件预测装置、 100获取模块、 200融 合模块、 300分类模块和400融合模块。 具体实施方式 0030 下面详细描述本申请的实施例， 所述实施例的示例在附图中示出， 其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。 下面通过参考附 图描述的实施例是示例性的， 旨在用于解释本申请， 而不能理解为对本申请的限制。 0031 下面参考附图描述本申请实施例的基于网联自动驾驶的交通事件预测方法、 装置 及电子设备。 针对上述背景技术中提到。

27、的车辆采集的数据可能因为遮挡等原因造成盲区， 无法采集到危险事件因素的完整数据， 无法对多重风险的条件因素进行计算评估， 准确性 较低的问题， 本申请提供了一种基于网联自动驾驶的交通事件预测方法， 在该方法中， 基于 网联的方法， 可以通过路侧传感器采集到的交通环境的数据， 如各个车辆的位置、 速度以及 行人的位置、 速度等信息， 上传到云端中心， 云端将预测出的结果直接发送至自动驾驶车 辆， 相比由自动驾驶车辆采集到的数据， 由路侧端采集的数据视野更大， 结果更准确， 云端 预测模型可以比车端预测模型更复杂， 预测精度更高。 但目前还没有联合了自动驾驶汽车、 路侧传感器和云端计算的交通事件预。

28、测方法， 因此本申请将提出一种基于网联自动驾驶的 交通事件预测方法， 能够综合利用车端、 路端、 云端的优势， 提高交通事件预测精度。 0032 具体而言， 图1为本申请实施例所提供的一种基于网联自动驾驶的交通事件预测 方法的流程示意图。 0033 如图1所示， 该基于网联自动驾驶的交通事件预测方法包括以下步骤： 0034 在步骤S101中， 获取目标区域内的路侧相机采集的第一视野范围内的图像、 路侧 雷达采集的第一视野范围内的点云数据、 车载相机采集的第二视野范围内的图像和/或车 载雷达采集的第二视野范围内的点云数据。 0035 具体地， 路侧相机和雷达采集其覆盖范围内的图像和点云数据， 车。

29、载相机和雷达 采集视野范围内的图像和点云数据， 连同时间信息和GPS(Global Positioning System， 全 球定位系统)定位信息上传至云端。 0036 在步骤S102中， 融合第一视野范围内的图像、 第一视野范围内的点云数据、 第二视 野范围内的图像和/或第二视野范围内的点云数据， 得到目标区域的融合感知数据； 0037 在本申请实施例中可以使用多源多传感器融合技术， 将不同传感器的数据进行匹 说明书 4/10 页 7 CN 115618932 A 7 配融合， 得到区域内融合感知数据， 具体地， 本申请实施例可以使用云端计算单元和车载计 算单元对每个传感器数据处理生成各自。

30、的目标数据， 将所有传感器的目标数据上传至主处 理器进行数据融合， 如图2所示， 生成最终的融合数据。 0038 可选地， 在一些实施例中， 在融合第一视野范围内的图像、 第一视野范围内的点云 数据、 第二视野范围内的图像和/或第二视野范围内的点云数据之前， 还包括： 基于预设的 软件同步规则、 时间同步规则和空间同步规则， 同步第一视野范围内的图像、 第一视野范围 内的点云数据、 第二视野范围内的图像和第二视野范围内的点云数据。 0039 具体地， 在本申请实施例中， 对于多源多传感器数据， 需要通过软件同步、 时间同 步及空间同步以实现数据对准和时空匹配， 具体而言， 云端首先需要对上传的。

31、数据进行一 定处理， 对不同传感器的数据进行软同步， 根据上传数据的时间信息和GPS定位信息分别进 行时间同步和空间同步， 将位于相同区域的数据转换到同一个坐标系中。 0040 在步骤S103中， 基于预设的交通场景分类， 对融合感知数据分类， 目标区域内的交 通场景分类结果， 并将融合感知数据和交通场景分类结果输入至预设的交通事件预测模 型， 得到车流动态分布预测结果和人群意图预测结果。 0041 可选地， 在一些实施例中， 将融合感知数据和交通场景分类结果输入至预设的交 通事件预测模型， 得到车流动态分布预测结果和人群意图预测结果， 包括： 基于预设的检测 算法， 对融合感知数据检测计算，。

32、 得到目标车辆的位置信息和标签信息， 以及目标人群的位 置信息和标签信息； 基于预设的跟踪算法和身份识别号， 跟踪计算目标车辆的位置信息和 标签信息、 目标人群的位置信息和标签信息， 得到目标车辆的历史轨迹信息和目标人群的 历史轨迹信息； 基于预设的LSTM深度学习网络的预测算法， 对目标人群的历史轨迹信息进 行预测， 得到人群意图预测结果； 根据目标车辆的历史轨迹信息估计目标车辆的车速， 同时 基于多辆目标车辆估计目标区域内的车流密度， 并基于预设的LSTM深度学习网络的预测算 法， 得到车流动态分布预测结果。 0042 其中， 预设的检测算法可以是YOLO v4， 预设的跟踪算法可以是Fa。

33、irMOT(Fair MultiObject Tracking， 对象检测器)， 预设的LSTM深度学习网络的预测算法可以是基于 LSTM深度学习网络的SocialLSTM， 交通场景分类可以分为城市普通道路、 十字路口、 高速 道路、 匝道。 0043 需要说明的是， 本申请实施例使用跟踪算法实现对车辆和人群跟踪， 为同一辆车、 同一人群配置id编号， 并根据目标id编号， 提取车辆和人群的历史轨迹信息， 并根据人群目 标历史轨迹信息， 使用基于LSTM深度学习网络的预测算法对人群意图进行预测， 并根据目 标车辆历史轨迹信息， 估计目标车辆车速， 同时基于多辆目标车辆估计区域内的车流密度， 。

34、使用基于LSTM深度学习网络预测算法对车流动态分布进行预测。 0044 具体地， 本申请实施例使用融合感知数据进行交通场景分类， 获得区域交通场景 的分类结果， 并将融合感知数据和交通场景的分类结果， 输入至交通事件预测模型， 进行车 流动态分布预测和人群意图预测， 获得车流动态分布和人群意图预测结果， 并作为交通事 件预测模型的输入数据， 得到预测结果并分类。 0045 在实际执行过程中， 本申请实施例将融合数据送入训练好的交通场景分类网络， 对区域场景进行分类， 获得场景的分类结果； 融合感知数据和交通场景分类结果送入训练 好的交通事件预测模型， 其中， 交通事件预测模块如图3所示， 模型。

35、使用检测算法检测车辆 说明书 5/10 页 8 CN 115618932 A 8 和人群目标， 并通过跟踪算法为车辆和人群分配唯一id， 使用跟踪算法对同一id的目标进 行连续跟踪； 将人群跟踪数据和场景分类结果作为人群意图预测的输入数据， 得到人群意 图预测结果； 使用车辆跟踪数据估计目标车辆车速， 使用多辆目标车辆的估计车速用于区 域内道路车流密度估计； 将车辆跟踪数据、 车流密度估计结果、 人群意图和场景分类结果作 为车流动态分布预测的输入数据， 得到车流动态分布预测结果。 0046 在步骤S104中， 将车流动态分布和人群意图预测结果输入至预设的交通事件预测 模型， 得到交通事件预测结。

36、果。 0047 可选地， 在一些实施例中， 上述的基于网联自动驾驶的交通事件预测方法， 根据交 通事件预测结果得到交通事件的分类结果。 0048 可选地， 在一些实施例中， 上述的基于网联自动驾驶的交通事件预测方法， 交通事 件的分类结果包括交通事故和交通拥堵。 0049 其中， 交通拥堵可以按照指数TPI(Third Part Inspection， 第三方检验)进行分 级， 分为 “畅通” 、“基本畅通” 、“轻度拥堵” 、“中度拥堵” 和 “严重拥堵” 五个级别。 0050 具体地， 本申请实施例将人群意图预测结果和车流动态分布预测结果用于交通事 件预测， 得到交通事件预测结果， 交通事。

37、件分类为交通事故和交通拥堵， 交通拥堵根据按照 交通拥堵指数(TPI)进行分级， 分为 “畅通” 、“基本畅通” 、“轻度拥堵” 、“中度拥堵” 和 “严重 拥堵” 五个级别。 0051 为使得本领域技术人员进一步了解本申请实施例的基于网联自动驾驶的交通事 件预测方法、 装置及电子设备， 下面结合具体实施例进行详细阐述。 0052 图4是本根据本申请实施例提出的基于网联自动驾驶的交通事件预测方法的流程 图。 0053 (1)路侧相机和雷达采集其覆盖范围内的图像和点云数据， 车载相机和雷达采集 视野范围内的图像和点云数据， 数据采集频率为20Hz， 连同时间信息和GPS定位信息上传至 云端； 0。

38、054 (2)云端上传的数据进行以下处理： 0055 (a)软同步： 对不同传感器的数据进行软同步， 根据上传数据的时间信息和GPS定 位信息分别进行时间同步和空间同步， 将位于相同区域的数据转换到同一个坐标系中； 0056 (b)生成目标数据： 使用云端计算单元将每个传感器数据处理生成各自的目标数 据， 将所有传感器的目标数据上传至主处理器进行数据融合， 如图2所示， 生成最终的融合 目标数据； 0057 (3)对区域场景进行分类， 场景类型包括： 城市普通道路、 十字路口、 高速道路和匝 道， 将融合目标数据送入训练好的SVM(support vector machine， 支持向量机)交。

39、通场景分 类网络， 获得场景的分类结果， 其中城市普通道路和十字路口场景有人群参与， 高速道路和 匝道没有人群参与； 0058 (4)将(2)中的融合目标数据和(3)中的场景分类结果送入训练好的交通事件预测 模型， 模型使用检测算法检测车辆和人群目标， 包括以下步骤： 0059 (a)使用YOLO v4检测算法提取融合数据中的特征数据， 检测车辆和人群目标； 0060 (b)使用FairMOT跟踪算法为检测到的车辆和人群分配唯一id， 使用对同一id的目 标进行连续跟踪； 说明书 6/10 页 9 CN 115618932 A 9 0061 (c)将人群历史跟踪数据和场景分类结果作为人群意图预。

40、测的输入数据， 得到人 群意图预测结果， 人群意图包括：“横穿路口” 、“不横穿路口” ， 人群是否横穿路口对车流有 一定影响， 例如： 若人群横穿路口， 则车流将减速停车让行； 0062 (d)将车辆历史跟踪数据进一步进行车速估计， 用于车流密度估计； 0063 (e)将车辆跟踪数据、 车流密度估计结果、 人群意图和场景分类结果作为车流动态 分布预测的输入数据， 得到车流动态分布预测结果； 0064 (5)将人群意图预测结果和车流动态分布预测结果用于交通事件预测， 得到交通 事件预测结果， 结果类型为：“交通事故” 、“交通拥堵” 及 “交通拥堵程度分级” ， 包括以下步 骤： 0065 (。

41、a)在城市普通道路和十字路口场景， 根据人群意图结果， 即考虑人群未来意图对 车辆分布造成的影响； 若人群将通过路口， 则该路口后方车辆将逐渐减速停车， 车流分布将 逐渐密集； 0066 (b)根据车速估计和车辆密度估计结果， 可判断区域内道路是否有速度异常的车 辆， 若有速度为0的车辆， 说明该车辆涉及事故， 若有车速明显低于其他车辆的车辆， 说明该 车辆发生异常， 以上情况均属于 “交通事故” ； 这种情况将导致区域内道路的车流密度分布 不均匀， 车辆将因事故/异常车辆速度异常而被抑制车速， 车辆将逐渐分布在事故/异常车 辆后方； 0067 (c)若区域内车辆在道路中分布较为均匀， 无速度。

42、异常车辆， 但整体车速未达到正 常通行车速， 则可预测出区域内将发生 “交通拥堵” ； 0068 (d)交通拥堵程度更进一步按照交通拥堵指数(TPI)进行分级， 分为 “畅通” 、“基本 畅通” 、“轻度拥堵” 、“中度拥堵” 和 “严重拥堵” 五个级别。 0069 根据本申请实施例提出的基于网联自动驾驶的交通事件预测方法， 通过获取目标 区域内的路侧相机采集的第一视野范围内的图像、 路侧雷达采集的第一视野范围内的点云 数据、 车载相机采集的第二视野范围内的图像和/或车载雷达采集的第二视野范围内的点 云数据； 并融合得到目标区域的融合感知数据， 并基于预设的交通场景分类， 对融合感知数 据分类。

43、， 得到目标区域内的交通场景分类结果， 并输入至预设的交通事件预测模型， 得到车 流动态分布预测结果和人群意图预测结果， 并输入至预设的交通事件预测模型， 得到交通 事件预测结果。 由此， 解决了车辆采集的数据可能因为遮挡等原因造成盲区， 无法采集到危 险事件因素的完整数据， 无法对多重风险的条件因素进行计算评估， 准确性较低的问题， 能 够综合利用车端、 路端、 云端的优势， 提高交通事件预测精度。 0070 其次参照附图描述根据本申请实施例提出的基于网联自动驾驶的交通事件预测 装置。 0071 图5是本申请实施例的基于网联自动驾驶的交通事件预测装置的方框示意图。 0072 如图5所示， 该。

44、基于网联自动驾驶的交通事件预测装置10包括： 获取模块100、 融合 模块200、 分类模块300和预测模块400。 0073 其中， 获取模块100， 用于获取目标区域内的路侧相机采集的第一视野范围内的图 像、 路侧雷达采集的第一视野范围内的点云数据、 车载相机采集的第二视野范围内的图像 和/或车载雷达采集的第二视野范围内的点云数据； 融合模块200， 用于融合第一视野范围 内的图像、 第一视野范围内的点云数据、 第二视野范围内的图像和/或第二视野范围内的点 说明书 7/10 页 10 CN 115618932 A 10 云数据， 得到目标区域的融合感知数据； 分类模块300， 用于基于预设。

45、的交通场景分类， 对融 合感知数据分类， 目标区域内的交通场景分类结果， 并将融合感知数据和交通场景分类结 果输入至预设的交通事件预测模型， 得到车流动态分布预测结果和人群意图预测结果； 以 及预测模块400， 用于将车流动态分布和人群意图预测结果输入至预设的交通事件预测模 型， 得到交通事件预测结果。 0074 可选地， 在一些实施例中， 在融合第一视野范围内的图像、 第一视野范围内的点云 数据、 第二视野范围内的图像和/或第二视野范围内的点云数据之前， 融合模块200， 还用 于： 基于预设的软件同步规则、 时间同步规则和空间同步规则， 同步第一视野范围内的图 像、 第一视野范围内的点云数。

46、据、 第二视野范围内的图像和第二视野范围内的点云数据。 0075 可选地， 在一些实施例中， 分类模块300， 具体用于： 基于预设的检测算法， 对融合 感知数据检测计算， 得到目标车辆的位置信息和标签信息， 以及目标人群的位置信息和标 签信息； 基于预设的跟踪算法和身份识别号， 跟踪计算目标车辆的位置信息和标签信息、 目 标人群的位置信息和标签信息， 得到目标车辆的历史轨迹信息和目标人群的历史轨迹信 息； 基于预设的LSTM深度学习网络的预测算法， 对目标人群的历史轨迹信息进行预测， 得到 人群意图预测结果； 根据目标车辆的历史轨迹信息估计目标车辆的车速， 同时基于多辆目 标车辆估计目标区域。

47、内的车流密度， 并基于预设的LSTM深度学习网络的预测算法， 得到车 流动态分布预测结果。 0076 可选地， 在一些实施例中， 上述的基于网联自动驾驶的交通事件预测装置10， 根据 交通事件预测结果得到交通事件的分类结果。 0077 可选地， 在一些实施例中， 上述的基于网联自动驾驶的交通事件预测装置10， 交通 事件的分类结果包括交通事故和交通拥堵。 0078 需要说明的是， 前述对基于网联自动驾驶的交通事件方法实施例的解释说明也适 用于该实施例的基于网联自动驾驶的交通事件装置， 此处不再赘述。 0079 根据本申请实施例提出的基于网联自动驾驶的交通事件装置， 通过获取目标区域 内的路侧相。

48、机采集的第一视野范围内的图像、 路侧雷达采集的第一视野范围内的点云数 据、 车载相机采集的第二视野范围内的图像和/或车载雷达采集的第二视野范围内的点云 数据； 并融合得到目标区域的融合感知数据， 并基于预设的交通场景分类， 对融合感知数据 分类， 得到目标区域内的交通场景分类结果， 并输入至预设的交通事件预测模型， 得到车流 动态分布预测结果和人群意图预测结果， 并输入至预设的交通事件预测模型， 得到交通事 件预测结果。 由此， 解决了车辆采集的数据可能因为遮挡等原因造成盲区， 无法采集到危险 事件因素的完整数据， 无法对多重风险的条件因素进行计算评估， 准确性较低的问题， 能够 综合利用车端。

49、、 路端、 云端的优势， 提高交通事件预测精度。 0080 图6为本申请实施例提供的电子设备的结构示意图。 该电子设备可以包括： 0081 存储器601、 处理器602及存储在存储器601上并可在处理器602上运行的计算机程 序。 0082 处理器602执行程序时实现上述实施例中提供的基于网联自动驾驶的交通事件方 法。 0083 进一步地， 电子设备还包括： 0084 通信接口603， 用于存储器601和处理器602之间的通信。 说明书 8/10 页 11 CN 115618932 A 11 0085 存储器601， 用于存放可在处理器602上运行的计算机程序。 0086 存储器601可能包含。

50、高速RAM(Random Access Memory， 随机存取存储器)存储器， 也可能还包括非易失性存储器， 例如至少一个磁盘存储器。 0087 如果存储器601、 处理器602和通信接口603独立实现， 则通信接口603、 存储器601 和处理器602可以通过总线相互连接并完成相互间的通信。 总线可以是ISA(Industry Standard Architecture， 工业标准体系结构)总线、 PCI(Peripheral Component， 外部设备 互连)总线或EISA(Extended Industry Standard Architecture， 扩展工业标准体系结构) 总线。