点云数据处理方法、装置、设备及介质.pdf

上传人:xia****o6 文档编号:10123988 上传时间:2021-06-04 格式:PDF 页数:21 大小:805.88KB
收藏 版权申诉 举报 下载
点云数据处理方法、装置、设备及介质.pdf_第1页
第1页 / 共21页
点云数据处理方法、装置、设备及介质.pdf_第2页
第2页 / 共21页
点云数据处理方法、装置、设备及介质.pdf_第3页
第3页 / 共21页
文档描述:

《点云数据处理方法、装置、设备及介质.pdf》由会员分享,可在线阅读,更多相关《点云数据处理方法、装置、设备及介质.pdf(21页完成版)》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010995580.8 (22)申请日 2020.09.21 (71)申请人 广东博智林机器人有限公司 地址 528000 广东省佛山市顺德区北滘镇 顺江居委会北滘工业园骏业东路11号 东面办公室二楼201-11 (72)发明人 周浩理陈刚赵键欧清扬 杨正世 (74)专利代理机构 北京品源专利代理有限公司 11332 代理人 孟金喆 (51)Int.Cl. G06T 15/00(2011.01) G06K 9/62(2006.01) (54)发明名称 一种点云数据处理方法、。

2、 装置、 设备及介质 (57)摘要 本发明实施例公开了一种点云数据处理方 法、 装置、 设备及介质。 该方法包括: 获取至少一 帧点云数据; 获取一二维图像, 并确定所述二维 图像的像素点; 建立所述至少一帧点云数据与所 述二维图像的各像素点的对应关系; 根据所述对 应关系确定所述至少一帧点云数据在所述二维 图像中的位置, 从而将所述至少一帧点云数据映 射到二维图像中得到目标点云数据。 本发明实施 例的技术方案, 解决了点云数据下采样后出现稀 疏不一致、 精度发生改变的问题, 实现使获取的 下采样之后的点云数据为稀疏一致的有序点云, 降低后续对点云数据的处理难度的效果。 权利要求书3页 说明书。

3、12页 附图5页 CN 112150595 A 2020.12.29 CN 112150595 A 1.一种点云数据处理方法, 其特征在于, 包括: 获取至少一帧点云数据; 获取一二维图像, 并确定所述二维图像的像素点; 建立所述至少一帧点云数据与所述二维图像的各像素点的对应关系; 根据所述对应关系确定所述至少一帧点云数据在所述二维图像中的位置, 从而将所述 至少一帧点云数据映射到二维图像中得到目标点云数据。 2.根据权利要求1所述的方法, 其特征在于: 所述至少一帧点云数据为至少两帧点云数据; 所述获取至少一帧点云数据之后进一步包括: 根据每帧点云数据之间的变换关系, 确定初始融合的点云数据。

4、; 所述建立所述至少一帧点云数据与所述二维图像的各像素点的对应关系, 具体为: 建 立所述初始融合的各点云数据与所述二维图像的各像素点的对应关系; 所述根据所述对应关系确定所述至少一帧点云数据在所述二维图像中的位置, 从而将 所述至少一帧点云数据映射到二维图像中得到目标点云数据, 具体为: 根据所述对应关系确定所述初始融合的各点云数据在所述二维图像中的位置, 从而将 所述初始融合的点云数据映射到二维图像中以将所述初始融合的点云数据进一步融合, 得 到目标融合点云数据。 3.根据权利要求2所述的方法, 其特征在于, 所述根据每帧点云数据之间的变换关系, 确定初始融合的点云数据, 包括: 计算每帧。

5、点云数据相对于预设基准帧点云数据的全局变换关系; 根据所述点云数据和所述全局变换关系确定所述初始融合的点云数据; 所述全局变换 关系为每一帧点云数据相对于基准帧点云数据的坐标变换矩阵。 4.根据权利要求3所述的方法, 其特征在于, 所述计算每帧点云数据相对于预设基准帧 点云数据的全局变换关系, 包括: 根据点云数据采集设备的拍摄旋转角度确定相邻两帧点云数据之间的第一相对位姿 关系; 获取所述点云数据的特征信息, 并根据所述特征信息确定相邻两帧点云数据之间的第 二相对位姿关系; 根据所述第一相对位姿关系和所述第二相对位姿关系获得相邻两帧点云数据之间的 第三相对位姿关系; 根据各所述相邻两帧点云数。

6、据之间的所述第三位姿关系确定每一帧点云数据相对于 预设基准帧点云数据的全局变换关系。 5.根据权利要求1或2所述的方法, 其特征在于, 所述获取一二维图像, 并确定所述二维 图像的像素点, 包括: 建立一二维图像, 根据所述二维图像的预设宽度和预设高度确定所述二维图像的各像 素点的二维坐标。 6.根据权利要求5所述的方法, 其特征在于, 建立所述至少一帧点云数据与所述二维图 像的各像素点的对应关系, 包括: 根据所述预设宽度和点云数据采集设备的水平视角计算所述点云数据采集设备的水 权利要求书 1/3 页 2 CN 112150595 A 2 平角分辨率, 其中, 所述点云数据采集设备用于采集所。

7、述至少一帧点云数据; 根据所述预设高度和所述点云数据采集设备的垂直视角计算所述点云数据采集设备 的垂直角分辨率; 根据所述水平角分辨率和所述垂直角分辨率确定所述至少一帧点云数据中的三维坐 标与所述二维图像的各像素点的所述二维坐标的对应关系。 7.根据权利要求5所述的方法, 其特征在于, 所述建立所述初始融合的各点云数据与所 述二维图像的各像素点的对应关系, 包括: 根据所述预设宽度和点云数据采集设备的光心水平旋转角度计算所述光心水平旋转 运动的水平角分辨率, 其中, 所述点云数据采集设备用于采集所述至少两帧点云数据; 根据所述预设高度和所述点云数据采集设备的光心垂直旋转角度计算所述光心垂直 旋。

8、转运动的垂直角分辨率; 根据所述水平角分辨率和所述垂直角分辨率确定所述初始融合的各点云数据中的三 维坐标与所述二维图像的各像素点的所述二维坐标的对应关系。 8.根据权利要求5所述的方法, 其特征在于, 所述根据所述二维图像的预设宽度和预设 高度确定所述二维图像的各像素点的二维坐标, 包括: 根据所述二维图像的预设宽度和预设高度分别确定所述二维图像的各像素点的水平 方向的坐标值和垂直方向的坐标值。 9.根据权利要求6所述的方法, 其特征在于, 所述根据所述水平角分辨率和所述垂直角 分辨率确定所述至少一帧点云数据中的三维坐标与所述二维图像的各像素点的所述二维 坐标的对应关系, 包括: 获取所述至少。

9、一帧点云数据的三维坐标; 根据所述水平角分辨率确定所述三维坐标与所述垂直方向的坐标值的垂直对应关系; 根据所述垂直角分辨率确定所述三维坐标与所述水平方向的坐标值的水平对应关系。 10.根据权利要求9所述的方法, 其特征在于, 所述根据所述对应关系确定所述至少一 帧点云数据在所述二维图像中的位置, 包括: 根据所述水平对应关系和所述垂直对应关系确定所述至少一帧点云数据在所述二维 图像中的位置。 11.根据权利要求1或2所述的方法, 所述方法还包括: 对包含至少两个点云数据的所述位置, 通过预设规则确定所述位置的唯一点云数据。 12.一种点云数据处理装置, 其特征在于, 包括: 数据获取模块, 用。

10、于获取至少一帧点云数据; 像素点确定模块, 用于获取一二维图像, 并确定所述二维图像的像素点; 对应关系建立模块, 用于建立所述至少一帧点云数据与所述二维图像的各像素点的对 应关系; 目标点云数据确定模块, 用于根据所述对应关系确定所述至少一帧点云数据在所述二 维图像中的位置, 从而将所述至少一帧点云数据映射到二维图像中得到目标点云数据。 或者, 包括: 数据获取模块, 用于获取至少两帧点云数据; 初始融合点云数据确定模块, 用于根据每帧点云数据之间的变换关系, 确定初始融合 权利要求书 2/3 页 3 CN 112150595 A 3 的点云数据; 像素点确定模块, 用于获取一二维图像, 并。

11、确定所述二维图像的像素点; 对应关系建立模块, 用于建立所述初始融合的各点云数据与所述二维图像的各像素点 的对应关系; 目标融合点云数据确定模块, 用于根据所述对应关系确定所述初始融合的各点云数据 在所述二维图像中的位置, 从而将所述初始融合的点云数据映射到二维图像中以将所述初 始融合的点云数据进一步融合, 得到目标融合点云数据。 13.一种点云数据处理设备, 其特征在于, 所述点云数据处理设备包括: 一个或多个处理器; 存储装置, 用于存储一个或多个程序; 当所述一个或多个程序被所述一个或多个处理器执行, 使得所述一个或多个处理器实 现如权利要求1-11中任一所述的点云数据处理方法。 14.。

12、一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 该程序被处理器 执行时实现如权利要求1-11中任一所述的点云数据处理方法。 权利要求书 3/3 页 4 CN 112150595 A 4 一种点云数据处理方法、 装置、 设备及介质 技术领域 0001 本发明实施例涉及图像处理技术领域, 尤其涉及一种点云数据处理方法、 装置、 设 备及介质。 、 背景技术 0002 随着虚拟现实、 古建筑重建、 三维测量、 智慧城市等对精细化三维模型的需求增 多, 使得三维重建技术成为了研究热点。 在进行图像的三维重建时, 需要通过三维相机采集 点云数据, 主流的采集方式为连续采集和定点采集。 连。

13、续采集主要用无人机、 手持式、 推车、 背包等进行连续采集; 定点采集主要为电机搭载三维传感器进行360度采集。 随着采集区域 的扩大, 数据量会持续增多, 由此带来许多重复数据和噪声, 数据也会需要下采样。 0003 目前对点云的下采样方法主要有体素网格、 随机抽样等方法。 体素网格方法在数 据量越大的情况下, 执行速度会成线性增大, 而且有可能改变点云的精度; 随机抽样得到的 点云有可能存在稀疏不一致的问题。 发明内容 0004 本发明实施例提供一种点云数据处理方法、 装置、 设备及介质, 以实现获取稀疏一 致、 精度未发生改变的下采样后的点云数据降低后续对点云数据的处理难度的效果。 00。

14、05 第一方面, 本发明实施例提供了一种点云数据处理方法, 该方法包括: 0006 获取至少一帧点云数据; 0007 获取一二维图像, 并确定所述二维图像的像素点; 0008 建立所述至少一帧点云数据与所述二维图像的各像素点的对应关系; 0009 根据所述对应关系确定所述至少一帧点云数据在所述二维图像中的位置, 从而将 所述至少一帧点云数据映射到二维图像中得到目标点云数据。 0010 进一步的, 所述至少一帧点云数据为至少两帧点云数据; 所述获取至少一帧点云 数据之后进一步包括: 根据每帧点云数据之间的变换关系, 确定初始融合的点云数据; 所述 建立所述至少一帧点云数据与所述二维图像的各像素点。

15、的对应关系, 具体为: 建立所述初 始融合的各点云数据与所述二维图像的各像素点的对应关系; 所述根据所述对应关系确定 所述至少一帧点云数据在所述二维图像中的位置, 从而将所述至少一帧点云数据映射到二 维图像中得到目标点云数据, 具体为: 根据所述对应关系确定所述初始融合的各点云数据 在所述二维图像中的位置, 从而将所述初始融合的点云数据映射到二维图像中以将所述初 始融合的点云数据进一步融合, 得到目标融合点云数据。 0011 进一步的, 根据每帧点云数据之间的变换关系, 确定初始融合的点云数据, 包括: 计算每帧点云数据相对于预设基准帧点云数据的全局变换关系; 根据所述点云数据和所述 全局变换。

16、关系确定所述初始融合的点云数据; 所述全局变换关系为每一帧点云数据相对于 基准帧点云数据的坐标变换矩阵。 0012 进一步的, 计算每帧点云数据相对于预设基准帧点云数据的全局变换关系, 包括: 说明书 1/12 页 5 CN 112150595 A 5 根据点云数据采集设备的拍摄旋转角度确定相邻两帧点云数据之间的第一相对位姿关系; 获取所述点云数据的特征信息, 并根据所述特征信息确定相邻两帧点云数据之间的第二相 对位姿关系; 根据所述第一相对位姿关系和所述第二相对位姿关系获得相邻两帧点云数据 之间的第三相对位姿关系; 根据各所述相邻两帧点云数据之间的所述第三位姿关系确定每 一帧点云数据相对于预。

17、设基准帧点云数据的全局变换关系。 0013 进一步的, 获取一二维图像, 并确定所述二维图像的像素点, 包括: 建立一二维图 像, 根据所述二维图像的预设宽度和预设高度确定所述二维图像的各像素点的二维坐标。 0014 进一步的, 建立所述至少一帧点云数据与所述二维图像的各像素点的对应关系, 包括: 根据所述预设宽度和点云数据采集设备的水平视角计算所述点云数据采集设备的水 平角分辨率, 其中, 所述点云数据采集设备用于采集所述至少一帧点云数据; 根据所述预设 高度和所述点云数据采集设备的垂直视角计算所述点云数据采集设备的垂直角分辨率; 根 据所述水平角分辨率和所述垂直角分辨率确定所述至少一帧点云。

18、数据中的三维坐标与所 述二维图像的各像素点的所述二维坐标的对应关系。 0015 进一步的, 建立所述初始融合的各点云数据与所述二维图像的各像素点的对应关 系, 包括: 根据所述预设宽度和点云数据采集设备的光心水平旋转角度计算所述光心水平 旋转运动的水平角分辨率, 其中, 所述点云数据采集设备用于采集所述至少两帧点云数据; 根据所述预设高度和所述点云数据采集设备的光心垂直旋转角度计算所述光心垂直旋转 运动的垂直角分辨率; 根据所述水平角分辨率和所述垂直角分辨率确定所述初始融合的各 点云数据中的三维坐标与所述二维图像的各像素点的所述二维坐标的对应关系。 0016 进一步的, 确定根据所述二维图像的。

19、预设宽度和预设高度确定所述二维图像的各 像素点的二维坐标, 包括: 根据所述二维图像的预设宽度和预设高度分别确定所述二维图 像的各像素点的水平方向的坐标值和垂直方向的坐标值。 0017 进一步的, 根据所述水平角分辨率和所述垂直角分辨率确定所述至少一帧点云数 据中的三维坐标与所述二维图像的各像素点的所述二维坐标的对应关系, 包括: 获取所述 至少一帧点云数据的三维坐标; 根据所述水平角分辨率确定所述三维坐标与所述垂直方向 的坐标值的垂直对应关系; 根据所述垂直角分辨率确定所述三维坐标与所述水平方向的坐 标值的水平对应关系。 0018 进一步的, 根据所述对应关系确定所述至少一帧点云数据在所述二。

20、维图像中的位 置, 包括: 根据所述水平对应关系和所述垂直对应关系确定所述至少一帧点云数据在所述 二维图像中的位置。 0019 进一步的, 点云数据处理方法还包括: 对包含至少两个点云数据的所述位置, 通过 预设规则确定所述位置的唯一点云数据。 0020 第二方面, 本发明实施例还提供了一种点云数据处理装置, 该装置包括: 0021 数据获取模块, 用于获取至少一帧点云数据; 0022 像素点确定模块, 用于获取一二维图像, 并确定所述二维图像的像素点; 0023 对应关系建立模块, 用于建立所述至少一帧点云数据与所述二维图像的各像素点 的对应关系; 0024 目标点云数据确定模块, 用于根据。

21、所述对应关系确定所述至少一帧点云数据在所 述二维图像中的位置, 从而将所述至少一帧点云数据映射到二维图像中得到目标点云数 说明书 2/12 页 6 CN 112150595 A 6 据。 0025 或者, 包括: 0026 数据获取模块, 用于获取至少两帧点云数据; 0027 初始融合点云数据确定模块, 用于根据每帧点云数据之间的变换关系, 确定初始 融合的点云数据; 0028 像素点确定模块, 用于获取一二维图像, 并确定所述二维图像的像素点; 0029 对应关系建立模块, 用于建立所述初始融合的各点云数据与所述二维图像的各像 素点的对应关系; 0030 目标融合点云数据确定模块, 用于根据。

22、所述对应关系确定所述初始融合的各点云 数据在所述二维图像中的位置, 从而将所述初始融合的点云数据映射到二维图像中以将所 述初始融合的点云数据进一步融合, 得到目标融合点云数据。 0031 第三方面, 本发明实施例还提供了一种点云数据处理设备, 其中, 所述点云数据处 理设备包括: 0032 一个或多个处理器; 0033 存储装置, 用于存储一个或多个程序; 0034 当所述一个或多个程序被所述一个或多个处理器执行, 使得所述一个或多个处理 器实现如本发明任意实施例所提供的点云数据处理方法。 0035 第四方面, 本发明实施例还提供了一种计算机可读存储介质, 其上存储有计算机 程序, 其中, 该。

23、程序被处理器执行时实现如本发明任意实施例所提供的点云数据处理方法。 0036 本发明实施例通过获取至少一帧点云数据; 获取一二维图像, 并确定所述二维图 像的像素点; 建立所述至少一帧点云数据与所述二维图像的各像素点的对应关系; 根据所 述对应关系确定所述至少一帧点云数据在所述二维图像中的位置, 从而将所述至少一帧点 云数据映射到二维图像中得到目标点云数据, 解决了点云数据下采样后出现稀疏不一致、 精度发生改变的问题, 实现使获取的下采样之后的点云数据为稀疏一致的有序点云, 降低 后续对点云数据的处理难度的效果。 附图说明 0037 图1是本发明实施例一中的一种点云数据处理方法的流程图; 00。

24、38 图2是本发明实施例二中的一种点云数据处理方法的流程图; 0039 图3是本发明实施例三中的一种点云数据处理方法的流程图; 0040 图4是本发明实施例四中的一种点云数据处理装置的结构图; 0041 图5是本发明实施例五中的一种点云数据处理装置的结构图; 0042 图6是本发明实施例六中的一种点云数据处理设备的结构示意图。 具体实施方式 0043 下面结合附图和实施例对本发明作进一步的详细说明。 可以理解的是, 此处所描 述的具体实施例仅仅用于解释本发明, 而非对本发明的限定。 另外还需要说明的是, 为了便 于描述, 附图中仅示出了与本发明相关的部分而非全部结构。 0044 实施例一 说明。

25、书 3/12 页 7 CN 112150595 A 7 0045 图1为本发明实施例一提供的一种点云数据处理方法的流程图, 本实施例可适用 于点云数据下采样的情况, 该方法可以由点云数据处理装置来执行, 具体包括如下步骤: 0046 S110、 获取至少一帧点云数据。 0047 在采集图像数据时, 将三维相机搭载在电机上, 通过电机的旋转带动三维相机进 行相应的旋转, 从而实现以定点采集方式360度采集图像数据。 可选的, 搭载的三维相机可 以是飞行时间(Time of flight, TOF)、 结构光、 激光等相机。 电机包括垂直方向旋转的电机 和水平方向旋转的电机, 电机的运动模式可以是。

26、单独垂直方向旋转的电机旋转, 或者单独 水平方向旋转的电机旋转, 还可以是垂直方向和水平方向旋转的电机一起旋转。 0048 通过电机搭载的三维相机以定点采集方式采集深度图像, 通过深度图像获取至少 一帧点云数据。 0049 S120、 获取一二维图像, 并确定二维图像的像素点。 0050 二维图像为根据需要预设的空白二维图像, 用于将初始融合点云数据中的每个点 都对应到二维图像的像素点上, 从而得到进一步融合的有序点云数据。 0051 可选的, 获取一二维图像, 并确定所述二维图像的像素点, 包括: 建立一二维图像, 根据所述二维图像的预设宽度和预设高度确定所述二维图像的各像素点的二维坐标。 。

27、二维 图像的宽度和高度是根据需要预先设定的。 根据预设宽度和预设高度确定二维图像中各像 素点的二维坐标。 0052 可选的, 根据所述二维图像的预设宽度和预设高度确定所述二维图像的各像素点 的二维坐标, 包括: 根据所述二维图像的预设宽度和预设高度分别确定所述二维图像的各 像素点的水平方向的坐标值和垂直方向的坐标值。 对二维图像建立直角坐标系, 根据预设 的宽度确定二维图像的横坐标即水平方向的坐标; 根据预设的高度确定二维图像的纵坐标 即垂直方向的坐标。 示例性的, 二维图像的预设宽度为L, 预设高度为W, 则二维图像像素点 的水平方向的坐标属于集合0, 1, 2.L中的某一个值, 二维图像像。

28、素点的垂直方向的坐 标属于集合0, 1, 2.W中的某一个值。 0053 S130、 建立至少一帧点云数据与二维图像的各像素点的对应关系。 0054 将点云数据对应到二维图像的各像素点上, 需建立点云数据与二维图像各像素点 的对应关系。 0055 可选的, 建立所述至少一帧点云数据与所述二维图像的各像素点的对应关系, 包 括: 根据所述预设宽度和点云数据采集设备的水平视角计算所述点云数据采集设备的水平 角分辨率, 其中, 所述点云数据采集设备用于采集所述至少一帧点云数据; 根据所述预设高 度和所述点云数据采集设备的垂直视角计算所述点云数据采集设备的垂直角分辨率; 根据 所述水平角分辨率和所述垂。

29、直角分辨率确定所述至少一帧点云数据中的三维坐标与所述 二维图像的各像素点的所述二维坐标的对应关系。 因只有一帧点云数据, 故根据采集设备 的采集视角来确定采集设备采集的点云数据涵盖的角度范围。 将水平视角除以二维图像的 预设宽度得到水平角分辨率; 将垂直视角除以二维图像的预设高度得到垂直角分辨率。 0056 可选的, 根据所述水平角分辨率和所述垂直角分辨率确定所述至少一帧点云数据 中的三维坐标与所述二维图像的各像素点的所述二维坐标的对应关系, 包括: 获取所述至 少一帧点云数据的三维坐标; 根据所述水平角分辨率确定所述三维坐标与所述垂直方向的 坐标值的垂直对应关系; 根据所述垂直角分辨率确定所。

30、述三维坐标与所述水平方向的坐标 说明书 4/12 页 8 CN 112150595 A 8 值的水平对应关系。 0057 示例性的, 当二维图像的预设宽度为L, 预设高度为W时, 水平方向的坐标集合为 0,1,2,3,L,垂直方向的坐标集合为0,1,2,3,W。 根据公式(1)计算至少一帧点云数 据的三维坐标值和水平方向的二维坐标值的垂直对应关系。 0058 0059 其中, Idxc为垂直对应关系; X,Y为点云数据的坐标值; L为水平角分辨率。 0060 根据公式2计算点云数据三维坐标值和垂直方向的二维坐标值的水平对应关系。 0061 0062其中, Idxr为水平对应关系; Z为点云数据。

31、的坐标值;W为垂 直角分辨率。 0063 通过计算点云数据与二维图像的二维坐标的对应关系, 将点云数据与二维图像的 像素点对应起来, 从而得到有序的点云数据。 0064 S140、 根据对应关系确定至少一帧点云数据在二维图像中的位置, 从而将至少一 帧点云数据映射到二维图像中得到目标点云数据。 0065 根据对应关系, 将至少一帧点云数据映射到二维图像的坐标位置上, 进而实现点 云数据的下采样。 0066 可选的, 根据所述对应关系确定所述至少一帧点云数据在所述二维图像中的位 置, 包括: 根据所述水平对应关系和所述垂直对应关系确定所述至少一帧点云数据在所述 二维图像中的位置。 根据水平对应关。

32、系确定每帧点云数据对应到二维图像上的水平方向的 坐标, 根据垂直对应关系确定每帧点云数据对应到二维图像上的垂直方向的坐标。 从而将 至少一帧点云数据映射到二维图像上, 将映射到二维图像后的点云数据确定为目标点云数 据。 目标点云数据为稀疏一致的有序点云数据, 有序点云数据使在最近邻查找、 点云分割、 计算法向量等后续针对点云处理的操作更为简单, 加快每项点云数据操作所需要的计算时 间, 提高点云数据处理效率。 0067 本实施例的技术方案, 通过获取至少一帧点云数据; 获取一二维图像, 并确定所述 二维图像的像素点; 建立所述至少一帧点云数据与所述二维图像的各像素点的对应关系; 根据所述对应关。

33、系确定所述至少一帧点云数据在所述二维图像中的位置, 从而将所述至少 一帧点云数据映射到二维图像中得到目标点云数据。 解决了点云数据下采样后出现稀疏不 一致、 精度发生改变的问题, 实现使获取的下采样之后的点云数据为稀疏一致的有序点云, 说明书 5/12 页 9 CN 112150595 A 9 降低后续对点云数据的处理难度的效果。 0068 实施例二 0069 图2为本发明实施例二提供的一种点云数据处理方法的流程图, 本实施例是在上 一实施例的基础上的进一步优化, 至少一帧点云数据为至少两帧点云数据; 获取至少一帧 点云数据之后进一步包括: 根据每帧点云数据之间的变换关系, 确定初始融合的点云。

34、数据; 建立至少一帧点云数据与二维图像的各像素点的对应关系, 具体为: 建立初始融合的各点 云数据与二维图像的各像素点的对应关系; 根据对应关系确定所述至少一帧点云数据在二 维图像中的位置, 从而将至少一帧点云数据映射到二维图像中得到目标点云数据, 具体为: 根据对应关系确定所述初始融合的各点云数据在二维图像中的位置, 从而将初始融合的点 云数据映射到二维图像中以将初始融合的点云数据进一步融合, 得到目标融合点云数据。 使获取的融合点云数据为稀疏一致的有序点云。 0070 如图2所示, 具体包括如下步骤: 0071 S210、 获取至少两帧点云数据。 0072 通过电机搭载的三维相机采集深度图。

35、像, 通过深度图像获取至少两帧点云数据。 0073 S220、 根据每帧点云数据之间的变换关系, 确定初始融合的点云数据。 0074 由于三维相机在采集图像数据时是实时旋转的, 故在拍摄每帧点云数据时相机的 位姿不同, 导致每帧点云数据的三维坐标值不在同一坐标系下, 将相邻的两帧点云数据进 行拼接后导致点云数据顺序混乱。 故在将点云数据拼接后需计算每帧点云数据相对于预设 基准帧点云数据的全局变换关系, 即坐标变换矩阵, 将每帧点云数据的三维坐标值都变换 为在同一坐标系下的三维坐标值, 便于点云数据进行拼接。 0075 可选的, 根据每帧点云数据之间的变换关系, 确定初始融合的点云数据, 包括:。

36、 计 算每帧点云数据相对于预设基准帧点云数据的全局变换关系; 根据所述点云数据和所述全 局变换关系确定所述初始融合的点云数据; 所述全局变换关系为每一帧点云数据相对于基 准帧点云数据的坐标变换矩阵。 将每帧点云数据乘以全局变换关系, 即每一帧点云数据相 对于基准帧点云数据的坐标变换矩阵, 得到初始融合点云数据。 0076 可选的, 计算每帧点云数据相对于预设基准帧点云数据的全局变换关系, 包括: 根 据点云数据采集设备的拍摄旋转角度确定相邻两帧点云数据之间的第一相对位姿关系; 获 取所述点云数据的特征信息, 并根据所述特征信息确定相邻两帧点云数据之间的第二相对 位姿关系; 根据所述第一相对位姿。

37、关系和所述第二相对位姿关系获得相邻两帧点云数据之 间的第三相对位姿关系; 根据各所述相邻两帧点云数据之间的所述第三位姿关系确定每一 帧点云数据相对于预设基准帧点云数据的全局变换关系。 首先通过指定电机的运动角度, 根据电机的运动角度可以得到初始的每帧之间的相对位姿, 即获得相邻两帧点云数据的第 一相对位姿关系。 提取每帧点云数据的三维特征和RGB特征。 可选的, 三维特征包括: 旋转投 影统计(Rotational Projection Statistics, RoPs)、 快速点特征直方图(Fast Point Feature Histograms, FPFH)以及视点特征直方图(Viewp。

38、oint Feature Histogram, VFH) 等。 RGB特征包括: 尺度不变特征变换(Scale Invariant Feature Transform, SIFT)特征、 加速稳健特征(Speeded Up Robust Features, SURF)和快速特征点提取和描述(Oriented FAST and Rotated BRIEF, ORB)特征等。 根据三维特征和RGB特征将相邻的两帧点云数据拼 接起来, 得到拼接的点云数据, 根据拼接的点云数据获得相邻两帧点云数据的第二相对位 说明书 6/12 页 10 CN 112150595 A 10 姿关系。 将第一相对位姿关系。

39、乘以第二相对位姿关系得到第三相对位姿关系, 第三相对位 姿关系为两帧点云数据间, 相较于第一和第二相对位姿关系更加精确的相对位姿关系。 从 点云数据中预先设定一帧点云数据为基准帧点云数据, 根据第三相对位姿关系计算每一帧 点云数据相对于预设基准帧点云数据的全局变换关系。 根据全局变换关系得到初始融合点 云数据。 全局变换关系通过公式(3)计算: 0077 RTiRTifinalRTi-1 (3) 0078 式中, RTi为第i帧点云数据相对于预设基准帧的全局变换关系; RTifinal为第三相 对位姿关系; RTi-1为第i-1帧点云数据相对于预设基准帧的全局变换关系.。 0079 S230、。

40、 获取一二维图像, 并确定二维图像的像素点。 0080 S240、 建立初始融合的各点云数据与二维图像的各像素点的对应关系。 0081 在时, 建立初始融合点云数据与二维图像各像素点的坐标数据对应关系, 通过初 始融合点云数据与二维图像各像素点的坐标数据对应关系对初始融合点云数据进行进一 步融合。 0082 可选的, 建立所述初始融合的各点云数据与所述二维图像的各像素点的对应关 系, 包括: 根据所述预设宽度和点云数据采集设备的光心水平旋转角度计算所述光心水平 旋转运动的水平角分辨率, 其中, 所述点云数据采集设备用于采集所述至少两帧点云数据; 根据所述预设高度和所述点云数据采集设备的光心垂直。

41、旋转角度计算所述光心垂直旋转 运动的垂直角分辨率; 根据所述水平角分辨率和所述垂直角分辨率确定所述初始融合的各 点云数据中的三维坐标与所述二维图像的各像素点的所述二维坐标的对应关系。 光心水平 旋转角度和光心垂直旋转角度可根据实际需要进行选择。 可以选择水平旋转180度、 270度、 360度等不同的角度, 垂直旋转90度、 135度、 180度等不同角度。 0083 示例性的, 当选择水平旋转角度为360度, 垂直旋转角度为180度时, 二维全景图像 的宽度代表水平360度, 高度代表垂直180度。 0084 将光心水平旋转角度360度除以宽度得到三维相机光心水平旋转运动的水平角分 辨率, 。

42、即根据公式(4)计算水平角分辨率。 0085 L360L (4) 0086 式中, L为水平角分辨率, L为二维图像的宽度。 0087 将光心垂直旋转角度180度除以高度得到三维相机光心垂直旋转运动的垂直角分 辨率, 即根据公式(5)计算垂直角分辨率 0088 W180W (5) 0089 式中 W为垂直角分辨率, W为二维图像的高度。 0090 可选的, 根据所述水平角分辨率和所述垂直角分辨率确定所述初始融合的各点云 数据中的三维坐标与所述二维图像的各像素点的所述二维坐标的对应关系, 包括: 获取所 述初始融合的各点云数据的三维坐标; 根据所述水平角分辨率确定所述三维坐标与所述垂 直方向的坐。

43、标值的垂直对应关系; 根据所述垂直角分辨率确定所述三维坐标与所述水平方 向的坐标值的水平对应关系。 0091 通过计算初始融合点云数据与二维图像的二维坐标的对应关系, 将点云数据与二 维图像的像素点对应起来, 从而得到有序的点云数据。 0092 S250、 根据对应关系确定初始融合的各点云数据在二维图像中的位置, 从而将初 说明书 7/12 页 11 CN 112150595 A 11 始融合的点云数据映射到二维图像中以将初始融合的点云数据进一步融合, 得到目标融合 点云数据。 0093 根据对应关系, 将初始融合点云数据映射到二维图像的坐标位置上, 使初始融合 点云数据进一步融合。 可选的,。

44、 根据所述对应关系确定所述初始融合的各点云数据在所述 二维图像中的位置, 包括: 根据所述水平对应关系和所述垂直对应关系确定所述初始融合 的各点云数据在所述二维图像中的位置。 根据水平对应关系确定每个初始融合点云数据对 应到二维图像上的水平方向的坐标, 根据垂直对应关系确定每个初始融合点云数据对应到 二维图像上的垂直方向的坐标。 从而将初始融合点云数据映射到二维图像上, 将映射到二 维图像后的点云数据确定为目标融合点云数据。 目标融合点云数据为稀疏一致的有序点云 数据, 有序点云数据使在最近邻查找、 点云分割、 计算法向量等后续针对点云处理的操作更 为简单, 加快每项点云数据操作所需要的计算时。

45、间, 提高点云数据处理效率。 0094 本实施例的技术方案, 通过获取至少两帧点云数据; 根据每帧点云数据之间的变 换关系, 确定初始融合的点云数据; 获取一二维图像, 并确定所述二维图像的像素点; 建立 所述初始融合的各点云数据与所述二维图像的各像素点的对应关系; 根据所述对应关系确 定所述初始融合的各点云数据在所述二维图像中的位置, 从而将所述初始融合的点云数据 映射到二维图像中以将所述初始融合的点云数据进一步融合, 得到目标融合点云数据, 解 决了融合点云数据稀疏不一致、 有序性遭到破坏的问题, 实现使获取的融合点云数据为稀 疏一致的有序点云, 降低后续对融合点云数据的处理难度的效果。 。

46、0095 实施例三 0096 图3为本发明实施例三提供的一种点云数据处理方法的流程图, 本实施例是在实 施例二的基础上的进一步优化, 点云数据处理方法还包括: 对包含至少两个点云数据的所 述位置, 通过预设规则确定所述位置的唯一点云数据。 通过对点云数据进行筛选, 去除重叠 的点云数据, 从而去除重叠点云数据区域的噪声。 使得到的目标融合点云数据更加符合需 要。 0097 如图3所示, 具体包含如下步骤: 0098 S310、 获取至少两帧点云数据。 0099 S320、 根据每帧点云数据之间的变换关系, 确定初始融合的点云数据。 0100 S330、 获取一二维图像, 并确定二维图像的像素点。

47、。 0101 S340、 建立初始融合的各点云数据与二维图像的各像素点的对应关系。 0102 S350、 根据对应关系确定初始融合的各点云数据在二维图像中的位置, 从而将初 始融合的点云数据映射到二维图像中以将初始融合的点云数据进一步融合, 得到目标融合 点云数据。 0103 S360、 对包含至少两个点云数据的所述位置, 通过预设规则确定位置的唯一点云 数据。 0104 由于二维图像上的一个二维坐标值可能对应多帧点云数据中的点, 可以设定一个 规则取最合适的一个点, 去除重叠的点云数据, 从而去除重叠点云区域的噪声。 可选的, 可 以是选择多个点的质心或者重心。 也可以是取距离三维相机的光心。

48、最近或最远的点。 在二 维图像上的每个二维坐标值上选取一个对应的点得到最终的目标融合点云数据, 实现对点 云数据的下采样, 且下采样的耗时不会因为点云数据的增多而线性增长, 且由于目标融合 说明书 8/12 页 12 CN 112150595 A 12 点云数据属于原始点云的一部分, 因此不会丢失原始点云数据的精度。 0105 本实施例的技术方案, 通过获取至少两帧点云数据; 根据每帧点云数据之间的变 换关系, 确定初始融合的点云数据; 获取一二维图像, 并确定所述二维图像的像素点; 建立 所述初始融合的各点云数据与所述二维图像的各像素点的对应关系; 根据所述对应关系确 定所述初始融合的各点云。

49、数据在所述二维图像中的位置, 从而将所述初始融合的点云数据 映射到二维图像中以将所述初始融合的点云数据进一步融合, 得到目标融合点云数据, 对 包含至少两个点云数据的所述位置, 通过预设规则确定所述位置的唯一点云数据, 去除重 叠的点云数据, 并且去除重叠点云区域的噪声。 解决了融合点云数据稀疏不一致、 有序性遭 到破坏的问题, 实现使获取的融合点云数据为稀疏一致的有序点云, 降低后续对融合点云 数据的处理难度的效果。 0106 实施例四 0107 图4为本发明实施例四提供的一种点云数据处理装置的结构图, 该点云数据处理 装置包括: 数据获取模块310、 像素点确定模块320、 对应关系建立模。

50、块330和目标点云数据 确定模块340。 0108 其中, 数据获取模块310, 用于获取至少一帧点云数据; 像素点确定模块320, 用于 获取一二维图像, 并确定所述二维图像的像素点; 对应关系建立模块330, 用于建立所述至 少一帧点云数据与所述二维图像的各像素点的对应关系; 目标点云数据确定模块340, 用于 根据所述对应关系确定所述至少一帧点云数据在所述二维图像中的位置, 从而将所述至少 一帧点云数据映射到二维图像中得到目标点云数据。 0109 在上述实施例的技术方案中, 像素点确定模块320, 包括: 0110 二维坐标确定单元, 用于建立一二维图像, 根据所述二维图像的预设宽度和预。

展开阅读全文
内容关键字: 数据处理 方法 装置 设备 介质
关于本文
本文标题:点云数据处理方法、装置、设备及介质.pdf
链接地址:https://www.zhuanlichaxun.net/pdf/10123988.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1 
 


收起
展开