基于元学习的辅助机场无人车的视觉定位方法.pdf

《基于元学习的辅助机场无人车的视觉定位方法.pdf》由会员分享，可在线阅读，更多相关《基于元学习的辅助机场无人车的视觉定位方法.pdf（13页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202210777001.1 (22)申请日 2022.07.04 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼2 号 (72)发明人 王庆张凯阳媛 (74)专利代理机构 南京众联专利代理有限公司 32206 专利代理师 顾进 (51)Int.Cl. G01C 21/34(2006.01) G01C 11/02(2006.01) G01C 11/04(2006.01) G06V 10/766(2022.01) G06V 10/82(2022.01) G06V 20/0。

2、0(2022.01) G06V 20/56(2022.01) G06T 7/73(2017.01) (54)发明名称 一种基于元学习的辅助机场无人车的视觉 定位方法 (57)摘要 一种基于元学习的辅助机场无人车的视觉 定位方法， 本发明通过元学习算法对可微分随机 抽样一致算法的三个训练步骤进行优化， 达到只 需通过一次训练就可以得到高效的预测模型， 最 终训练好的模型可以对机场无人驾驶车辆摄像 头输入的RGB图像实现处理， 得到RGB摄像头的当 前六自由度的位置和姿态， 其中我们的相机定位 模型分为两个部分： 第一部分是通过卷积神经网 络实现RGB图像的场景坐标回归得到世界场景坐 标系下的三维。

3、坐标； 第二部分是通过可微分的随 机抽样一致算法实现鲁棒性的位姿优化得到RGB 相机的位姿。 本发明可以仅通过RGB图像的输入 得到机场无人车的相机的高精度位姿， 从而辅助 机场无人车的自动驾驶。 权利要求书3页 说明书7页 附图2页 CN 115615446 A 2023.01.17 CN 115615446 A 1.一种基于元学习的辅助机场无人车的视觉定位方法， 其特征在于， 具体步骤如下： S11机场无人车携带的相机采集单元采集RGB图像， 通过基于元学习优化的随机抽样一 致方法对获取的RGB图像进行场景坐标回归， 得到该RGB图像中心点位姿预测， 从而得到装 载相机的无人车的位姿， 上。

4、述基于元学习优化的随机抽样一致方法包括： S111场景坐标回归， 通过基础卷积神经网络ConvNeXt预测二维RGB图像的每个像素i 对应的3维停车场的场景坐标yi()， 其中为神经网络ConvNeXt模型的参数， 通过该模型 实现图像2维像素点(xi,yi)到3维场景坐标的：p为2维像素 点(xi,yi)在像素坐标系下的坐标， PC为点在相机坐标系下的坐标， PW为点在世界坐标系下 的坐标， 为点的深度， K为相机的内参矩阵， RCW和为从世界坐标系到相机坐标系的位姿 转换； 用f(I； )表示2维图像相机坐标系到场景坐标系的映射， 其中I表示给定的一张图像， 为ConvNeXt神经网络需要。

5、学习的参数， 优化可学习的参数通过最小化训练集上最终估 计的期望姿势损失 式中f*表示图像I的位姿的真值， 为了对神经网络通过梯度下降法不断循环训练优化参 数， 对参数求导， 上述公式的偏导数为： 通过第一步使用神经网络实现场景坐标的预测， 即二维图像坐标点到3维场景坐标系 下的映射， 为下一步的鲁棒性位姿优化做准备； S112首先获得大量的假设h， 所述每个假设h依赖于相应场景坐标的参数， 图像I和场 景坐标预测Y在所有图像像素i上定义了一个密集的对应集合C， 作为鲁棒位姿优化的第一 步， 随机选择M个对应的最小子集每个Cj对应一个摄像 机姿态假设hj， 使用姿态求解器来恢复它， 即： 之后。

6、对所采集的大量假设进行选择， 对每一个假设所所评判的原则为： 式中的s()函数为评价函数， 表示每一个假设模型的性能好坏； 通过不断地迭代选择最优的假设模型之后需要优化最优的模型， 优化最优的模型使用 所有的场景坐标进行优化： hR(h,Y) 不断的迭代上述的鲁棒性位姿优化过程， 最终得到精度很高的相机位姿矩阵； S113元学习优化训练， 通过元学习使得两个训练过程进行融合， 在既保证了神经网络 预测场景坐标精度的基础上实现快速的位姿模型估计过程； 权利要求书 1/3 页 2 CN 115615446 A 2 S21通过对机场无人车的车载相机拍摄获得的图像进行视觉定位获得当前相机的位 姿， 其。

7、中基于元学习的可微分随机抽样一致算法的坐标回归方法精度非常高， 位姿精度误 差在5cm和5 之内， 作为辅助无人车行驶过程有效辅助手段。 2.根据权利要求1所述的一种基于元学习的辅助机场无人车的视觉定位方法， 其特征 在于， 步骤S112中的随机假设模型选取中， 使用的输入为RGB图像， 所以位姿求解恢复器为： piKh1yi 式中K为摄像机校准矩阵， 或摄像机内部校准参数， 使用这个关系， 透视PnP求解器中的 光束法平差从至少4个2D3D对应中恢复相机姿态， 得到唯一解:Cj4， 在实践中， 随机选择 4对的图像到场景坐标进行预测。 3.根据权利要求1所述的一种基于元学习的辅助机场无人车的。

8、视觉定位方法， 其特征 在于， 步骤S112中的假设选择中的评价函数s()根据所应用的场景及输入确定为： 式中函数r()测量姿态参数h和场景坐标之间的残差， 如果残差小于内层阈值 ， 则I 计算为1。 其中残差函数r()具体表述为： r(yi,h)|piKh1yi|。 4.根据权利要求1所述的一种基于元学习的辅助机场无人车的视觉定位方法， 其特征 在于， 步骤S113中实现步骤S111和S112进行融合训练的具体方法为采用MAML方法把训练 过程分为内循环和外循环， 具体如下： 对于模型初始化引入MAML初始化模型参数并且使模型有一个较好的初始性能， 把神经 网络的训练过程分为内循环和外循环，。

9、 内循环实现基本的模型功能的训练， 外循环提高模 型泛化性的训练， 同样也把训练集分为两部分用于两个循环的训练； 其中内循环为步骤S111实现场景坐标的映射， 实现从相机2维坐标到3维场景坐标的 映射， 内循环的优化为： 内循环的具体参数迭代过程表示为： 式中， 为内循环迭代的最优参数， 是初始化参数， 为内循环训练过程的学习率， 表示内循环实现场景坐标回归函数的梯度。 对于外循环， 主要是步骤S112的鲁棒性位姿优化过程， 因此,内循环的优化过程为： 关于内循环和外循环参数的传递， 具体参数传递方法为在采样下一批任务之前， 执行 元更新或元优化， 通过对内循环的训练找到了最优参数， 之后计算。

10、对每个内循环的 的梯度， 并通过梯度更新的方法来更新随机初始化参数， 这使得随机初始化参数找到 权利要求书 2/3 页 3 CN 115615446 A 3 一个和目标任务更加近似的初始参数， 当训练下一批任务时不需要采取许多梯度步骤； 整个过程表述如下： 式中， 是初始化参数， 是外循环的学习率超参数，是对于外循环的 鲁棒性位姿优化假设模型优化函数的数的梯度。 权利要求书 3/3 页 4 CN 115615446 A 4 一种基于元学习的辅助机场无人车的视觉定位方法 技术领域 0001 本发明属于视觉定位领域， 具体为一种基于元学习的辅助机场无人车的视觉定位 方法。 背景技术 0002 随着。

11、社会的进步， 汽车工业的不断发展， 无人驾驶汽车应运而生， 一时间成为各大 车厂的一个发力点， 也成为了当前人工智能领域的研究热点之一。 机场作为一个较为封闭 的环境， 是无人驾驶技术最可能先实现的场景之一。 从系统的角度来看， 无人驾驶系统包括 环境感知系统， 行为决策系统以及车辆控制系统。 其中， 定位模块与转向控制模块是无人汽 车的两个关键模块。 目前传统方法仍是支撑无人驾驶汽车得以落地的主要技术。 但传统方 法针对光照变化、 场景变化等问题的鲁棒性较差， 难以满足无人驾驶汽车在实景场景中的 应用需求。 0003 无人驾驶车辆的定位方法可分为基于全球定位系统、 磁感应、 惯导、 视觉和激。

12、光雷 达的地图信息匹配定位等多种方法。 根据无人车的应用场景， 可采用不同的定位方法。 其中 基于GPS的方法是一种绝对位姿估计方法。 该方法通过GPS来进行车辆定位。 基于GPS的定位 方法优点在于可全天候连续定位， 使用差分GPS可实现厘米级定位， 且适用于全局定位； 缺 点在于易受到环境变化影响， 高楼、 隧道、 室内环境都会屏蔽GPS信号。 对于机场中的无人车 而言， 基于GPS的重新定位的局限性是显而易见的。 当卫星信号被屏蔽或延迟时， GPS将无法 工作或变得不准确。 与此同时， 自动驾驶技术需要可靠、 高精度的摄像机位置和方向估计。 因此， 本专利围绕视觉定位辅助无人驾驶车辆技术。

13、为研究点， 利用视觉传感器， 构建深度神 经网络， 实现端到端的无人车位姿精确估计。 发明内容 0004 为了克服现有技术的不足， 本发明旨在提供一种基于元学习的辅助机场无人车的 视觉定位方法， 用以在机场无人驾驶环境实现GPS信号遮挡等辅助定位导航技术， 可以满足 普遍的车载相机的低成本、 精确的导航性能。 0005 为达到上述目的， 本发明的技术方案如下： 0006 一种基于元学习的辅助机场无人车的视觉定位方法， 其特征在于， 具体步骤如下： 0007 S11机场无人车携带的相机采集单元采集RGB图像， 通过基于元学习优化的随机抽 样一致方法对获取的RGB图像进行场景坐标回归， 得到该RG。

14、B图像中心点位姿预测， 从而得 到装载相机的无人车的位姿， 0008 上述基于元学习优化的随机抽样一致方法包括： 0009 S111场景坐标回归， 通过基础卷积神经网络ConvNeXt预测二维RGB图像的每个像 素i对应的3维停车场的场景坐标yi()， 其中为神经网络ConvNeXt模型的参数， 通过该 模型实现图像2维像素点(xi,yi)到3维场景坐标的：p为2维 像素点(xi,yi)在像素坐标系下的坐标， PC为点在相机坐标系下的坐标， PW为点在世界坐标 说明书 1/7 页 5 CN 115615446 A 5 系下的坐标， 为点的深度， K为相机的内参矩阵， RCW和为从世界坐标系到相。

15、机坐标系的 位姿转换； 0010 用f(I； )表示2维图像相机坐标系到场景坐标系的映射， 其中I表示给定的一张 图像， 为ConvNeXt神经网络需要学习的参数， 优化可学习的参数通过最小化训练集上 最终估计的期望姿势损失l： 0011 0012 式中f*表示图像I的位姿的真值， 为了对神经网络通过梯度下降法不断循环训练 优化参数， 对参数求导， 上述公式的偏导数为： 0013 0014 通过第一步使用神经网络实现场景坐标的预测， 即二维图像坐标点到3维场景坐 标系下的映射， 为下一步的鲁棒性位姿优化做准备； 0015 S112首先获得大量的假设h， 所述每个假设h依赖于相应场景坐标的参数，。

16、 图像I 和场景坐标预测Y在所有图像像素i上定义了一个密集的对应集合C， 作为鲁棒位姿优化的 第一步， 随机选择M个对应的最小子集每个Cj对应一个摄 像机姿态假设hj， 使用姿态求解器来恢复它， 即： 0016 0017 之后对所采集的大量假设进行选择， 对每一个假设所所评判的原则为： 0018 0019 式中的s()函数为评价函数， 表示每一个假设模型的性能好坏； 0020 通过不断地迭代选择最优的假设模型之后需要优化最优的模型， 优化最优的模型 使用所有的场景坐标进行优化： 0021 hR(h,Y) 0022 不断的迭代上述的鲁棒性位姿优化过程， 最终得到精度很高的相机位姿矩阵； 0023。

17、 S113元学习优化训练， 通过元学习使得两个训练过程进行融合， 在既保证了神经 网络预测场景坐标精度的基础上实现快速的位姿模型估计过程； 0024 S21通过对机场无人车的车载相机拍摄获得的图像进行视觉定位获得当前相机的 位姿， 其中基于元学习的可微分随机抽样一致算法的坐标回归方法精度非常高， 位姿精度 误差在5cm和5 之内， 作为辅助无人车行驶过程有效辅助手段； 0025 作为本发明进一步改进， 步骤S112中的随机假设模型选取中， 使用的输入为RGB 图像， 所以位姿求解恢复器为： 0026 piKh1yi 0027 式中K为摄像机校准矩阵， 或摄像机内部校准参数， 使用这个关系， 透。

18、视PnP求解器 中的光束法平差从至少4个2D3D对应中恢复相机姿态， 得到唯一解:Cj4， 在实践中， 随机 选择4对的图像到场景坐标进行预测。 0028 作为本发明进一步改进， 步骤S112中的假设选择中的评价函数s()根据所应用 说明书 2/7 页 6 CN 115615446 A 6 的场景及输入确定为： 0029 0030 式中函数r()测量姿态参数h和场景坐标之间的残差， 如果残差小于内层阈值 ， 则I计算为1。 其中残差函数r()具体表述为： 0031 r(yi,h)|piKh1yi|。 0032 作为本发明进一步改进， 步骤S113中实现步骤S111和S112进行融合训练的具 体。

19、方法为采用MAML方法把训练过程分为内循环和外循环， 具体如下： 0033 对于模型初始化引入MAML初始化模型参数并且使模型有一个较好的初始性能， 把 神经网络的训练过程分为内循环和外循环， 内循环实现基本的模型功能的训练， 外循环提 高模型泛化性的训练， 同样也把训练集分为两部分用于两个循环的训练； 0034 其中内循环为步骤S111实现场景坐标的映射， 实现从相机2维坐标到3维场景坐 标的映射， 内循环的优化为： 0035 0036 内循环的具体参数迭代过程表示为： 0037 0038 式中， 为内循环迭代的最优参数， 是初始化参数， 为内循环训练过程的学习 率，表示内循环实现场景坐标回。

20、归函数的梯度。 0039 对于外循环， 主要是步骤S112的鲁棒性位姿优化过程， 因此,内循环的优化过程 为： 0040 0041 关于内循环和外循环参数的传递， 具体参数传递方法为在采样下一批任务之前， 执行元更新或元优化， 通过对内循环的训练找到了最优参数， 之后计算对每个内循环的 的梯度， 并通过梯度更新的方法来更新随机初始化参数， 这使得随机初始化参数找 到一个和目标任务更加近似的初始参数， 当训练下一批任务时不需要采取许多梯度步骤； 0042 整个过程表述如下： 0043 0044式中， 是初始化参数， 是外循环的学习率超参数，是对于外循 环的鲁棒性位姿优化假设模型优化函数的数 的梯。

21、度。 0045 作为本发明进一步改进， 所述在机场无人车的相机定位模型训练的时候， 对于输 入的RGB图像应用数据增强。 我们在10范围内随机调整输入图像的亮度和对比度。 我们 在30 范围内随机旋转图像， 地面真实场景坐标和相机姿势。 我们在66和150范围内 随机重新缩放图像， 并相应地调整焦距。 0046 作为本发明进一步改进， 所述视觉定位模型通过元学习方法把两步训练过程融合 为一步式训练， 大大节省训练的成本。 说明书 3/7 页 7 CN 115615446 A 7 0047 针对目前的一般定位导航系统在机场室内等环境下因为信号遮挡等问题定位失 效或者精度低的问题， 本发明提出一种。

22、基于元学习的辅助机场无人车的视觉定位方法。 该 方法应用分为两步进行实现， 第一步在使用来自无人车车载相机获取的RGB图像通过本发 明提出的视觉定位方法进行训练， 得到可以使用的车载相机的位姿预测模型； 第二步在无 人车其他定位导航系统在特殊环境定位效果失效或效果差时候， 通过车载相机获取的RGB 图像通过训练好的模型实时输出位置姿态数据， 从而辅助机场无人车的定位导航。 0048 本发明对机场辅助无人车的定位导航问题， 提出一种基于元学习的深度学习视觉 定位方法， 可以实时根据相机获取的RGB图像输出位置姿态数据， 有效解决特殊情况下定位 无GPS定位精度低的问题， 同时可在车载相机平台上实。

23、现导航定位， 能够广泛的应用于辅助 机场无人车定位导航服务。 附图说明 0049 图1为本发明一种基于元学习的辅助机场无人车的视觉定位方法的总体流程图； 0050 图2为元学习优化整合可微分随机抽样一致算法场景回归视觉定位算法的示意 图。 具体实施方式 0051 下面结合附图与具体实施方式对本发明作进一步详细描述： 0052 本发明的一种基于元学习的辅助机场无人车的视觉定位导航方法， 如图1所示， 本 发明是视觉和惯性融合的室内定位方法， 包括以下步骤： 0053 S11机场无人车携带的相机采集单元采集RGB图像， 通过基于元学习优化的随机抽 样一致方法对获取的RGB图像进行场景坐标回归， 得。

24、到该RGB图像中心点位姿预测， 从而得 到装载相机的无人车的位姿， 0054 元学习优化整合可微分随机抽样一致算法场景回归视觉定位算法的示意图如图2 所示， 述基于元学习优化的随机抽样一致方法包括： 0055 S111场景坐标回归， 通过基础卷积神经网络ConvNeXt预测二维RGB图像的每个像 素i对应的3维停车场的场景坐标yi()， 其中为神经网络ConvNeXt模型的参数， 通过该 模型实现图像2维像素点(xi,yi)到3维场景坐标的：p为2维 像素点(xi,yi)在像素坐标系下的坐标， PC为点在相机坐标系下的坐标， PW为点在世界坐标 系下的坐标， 为点的深度， K为相机的内参矩阵，。

25、 RCW和为从世界坐标系到相机坐标系的 位姿转换。 0056 用f(I； )表示2维图像相机坐标系到场景坐标系的映射， 其中I表示给定的一张 图像， 为ConvNeXt神经网络需要学习的参数， 优化可学习的参数通过最小化训练集上 最终估计的期望姿势损失l： 0057 0058 式中f*表示图像I的位姿的真值， 为了对神经网络通过梯度下降法不断循环训练 优化参数， 对参数求导， 上述公式的偏导数为： 说明书 4/7 页 8 CN 115615446 A 8 0059 0060 通过第一步使用神经网络实现场景坐标的预测， 即2维图像坐标点到3维场景坐标 系下的映射， 为下一步的鲁棒性位姿优化做准备。

26、。 0061 S112首先获得大量的假设， 图像I和场景坐标预测Y在所有图像像素i上定义了一 个密集的对应集合C。 作为鲁棒位姿优化的第一步， 我们随机选择M个对应的最小子集 每个Cj对应一个摄像机姿态假设hj， 我们使用姿态求解 器来恢复它， 即： 0062 0063 2维图像坐标点到3维场景坐标系下的关系可以由以下表示： 0064 piKh1yi 0065 式中K为摄像机校准矩阵， 或摄像机内部校准参数。 使用这个关系， 透视PnP求解器 中的光束法平差从至少4个2D3D对应中恢复相机姿态， 得到唯一解:Cj4。 在实践中， 随机 选择4对的图像到场景坐标进行预测。 发明使用的输入为RGB。

27、图像， 所以位姿求解恢复器为： 0066 0067 之后对所采集的大量假设进行选择， 对每一个假设所所评判的原则为： 0068 0069 式中的s()函数为评价函数， 表示每一个假设模型的性能好坏。 评价函数s() 根据所应用的场景及输入确定为： 0070 0071 式中函数r()测量姿态参数h和场景坐标之间的残差， 如果残差小于内层阈值 ， 则I计算为1。 其中残差函数r()具体表述为： 0072 r(yi,h)|piKh1yi| 0073 通过不断地迭代选择最优的假设模型之后需要优化最优的模型， 优化最优的模型 使用所有的场景坐标进行优化： 0074 hR(h,Y) 0075 如果想实现端。

28、到端的训练方式得到位姿预测模型， 需要整个过程都是可微的， 因 此以上的优化过程通过高斯牛顿法实现可微分化： 0076 0077式中是前面的残差函数向量r(yi,h)的雅可比矩阵Jr的伪逆。 具体 而言， 雅可比矩阵Jr由以下偏导数组成: 0078 说明书 5/7 页 9 CN 115615446 A 9 0079 可微分化之后就可以不断迭代训练整个模型， 不断的迭代上述的鲁棒性位姿优化 过程， 最终可以得到精度很高的相机位姿矩阵。 0080 S113元学习优化训练， 一般如果只用鲁棒性的位姿优化这一过程训练模型得到 的效果很差， 这是由于模型需要一个初始化前半部分的神经网络预测场景坐标过程，。

29、 这就 需要把训练分为两步进行， 这样虽然可以防止鲁棒性位姿估计影响神经网络场景坐标映射 过程， 但是训练过程较为繁琐， 需要耗费大量时间进行训练。 因此本发明通过元学习使得两 个训练过程进行融合， 在既保证了神经网络预测场景坐标精度的基础上实现快速的位姿模 型估计过程。 0081 实现步骤S111和S112进行融合训练的具体方法为采用MAML方法把训练过程分 为内循环和外循环， 具体如下： 0082 对于模型初始化引入MAML初始化模型参数并且使模型有一个较好的初始性能， 把 神经网络的训练过程分为内循环和外循环， 内循环实现基本的模型功能的训练， 外循环提 高模型泛化性的训练， 同样也把训。

30、练集分为两部分用于两个循环的训练； 0083 其中内循环为步骤S111实现场景坐标的映射， 实现从相机2维坐标到3维场景坐 标的映射， 内循环的优化为： 0084 0085 内循环的具体参数迭代过程表示为： 0086 0087 式中， 为内循环迭代的最优参数， 是初始化参数， 为内循环训练过程的学习 率，表示内循环实现场景坐标回归函数的梯度。 0088 对于外循环， 主要是步骤S112的鲁棒性位姿优化过程， 因此,内循环的优化过程 为： 0089 0090 关于内循环和外循环参数的传递， 具体参数传递方法为在采样下一批任务之前， 执行元更新或元优化， 通过对内循环的训练找到了最优参数， 之后计。

31、算对每个内循环的 的梯度， 并通过梯度更新的方法来更新随机初始化参数， 这使得随机初始化参数找 到一个和目标任务更加近似的初始参数， 当训练下一批任务时不需要采取许多梯度步骤； 0091 整个过程表述如下： 0092 0093式中， 是初始化参数， 是外循环的学习率超参数，是对于外循 环的鲁棒性位姿优化假设模型优化函数的数的梯度； 0094 S21通过对机场无人车的车载相机拍摄获得的图像进行视觉定位获得当前相机的 位姿， 其中基于元学习的可微分随机抽样一致算法的坐标回归方法精度非常高， 位姿精度 误差可以在5cm和5 之内， 可以作为辅助无人车行驶过程有效辅助手段。 说明书 6/7 页 10 CN 115615446 A 10 0095 以上所述， 仅是本发明的较佳实施例而已， 并非是对本发明作任何其他形式的限 制， 而依据本发明的技术实质所作的任何修改或等同变化， 仍属于本发明所要求保护的范 围。 说明书 7/7 页 11 CN 115615446 A 11 图1 说明书附图 1/2 页 12 CN 115615446 A 12 图2 说明书附图 2/2 页 13 CN 115615446 A 13 。