增强现实场景下的交互方法、装置、电子设备及存储介质.pdf
《增强现实场景下的交互方法、装置、电子设备及存储介质.pdf》由会员分享,可在线阅读,更多相关《增强现实场景下的交互方法、装置、电子设备及存储介质.pdf(29页完成版)》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202011010999.X (22)申请日 2020.09.23 (71)申请人 北京市商汤科技开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 王鼎禄侯欣如刘旭 (74)专利代理机构 北京中知恒瑞知识产权代理 事务所(普通合伙) 11889 代理人 王文红 (51)Int.Cl. G06F 3/0484(2013.01) G06T 19/20(2011.01) (54)发明名称 增强现实场景下的交互方法、 装置、 电子。
2、设 备及存储介质 (57)摘要 本公开提供了一种增强现实场景下的交互 方法、 装置、 电子设备及存储介质, 其中, 该交互 方法包括: 通过AR设备展示与当前拍摄的现实场 景画面匹配的AR画面; 所述AR画面中展示有第一 虚拟对象; 在检测到预设触发展示条件的情况 下, 在所述AR画面中展示第二虚拟对象的目标AR 特效; 所述第二虚拟对象与所述第一虚拟对象之 间具有预设的运动关系; 响应目标触发操作, 在 AR画面中展示所述第二虚拟对象发生状态更新 的AR特效。 权利要求书3页 说明书20页 附图5页 CN 112148188 A 2020.12.29 CN 112148188 A 1.一种增。
3、强现实场景下的交互方法, 其特征在于, 包括: 通过AR设备展示与当前拍摄的现实场景画面匹配的AR画面; 所述AR画面中展示有第一 虚拟对象; 在检测到预设触发展示条件的情况下, 在所述AR画面中展示第二虚拟对象的目标AR特 效; 所述第二虚拟对象与所述第一虚拟对象之间具有预设的运动关系; 响应目标触发操作, 在AR画面中展示所述第二虚拟对象发生状态更新的AR特效。 2.根据权利要求1所述的交互方法, 其特征在于, 所述预设触发展示条件包括以下条件 中的至少一种: 所述第一虚拟对象到达至少一个目标移动位置中的任一目标移动位置; 当前到达至少一个目标时间点中的任一目标时间点; 所述第二虚拟对象与。
4、所述第一虚拟对象之间的距离小于设定距离阈值。 3.根据权利要求1或2所述的交互方法, 其特征在于, 所述预设的运动关系包括预设的 相对运动关系; 所述在所述AR画面中展示第二虚拟对象的目标AR特效, 包括: 在所述AR画面展示所述第二虚拟对象按照所述预设的相对运动关系朝向或背离所述 第一虚拟对象移动的第一AR特效。 4.根据权利要求1至3任一所述的交互方法, 其特征在于, 所述预设的运动关系包括预 设的交互运动关系; 所述在所述AR画面中展示第二虚拟对象的目标AR特效, 包括: 在所述AR画面中展示所述第二虚拟对象与所述第一虚拟对象之间按照所述预设的交 互运动关系进行交互运动的第二AR特效。 。
5、5.根据权利要求1至4任一所述的交互方法, 其特征在于, 所述在所述AR画面中展示第 二虚拟对象的目标AR特效, 包括: 根据预设的不同交互阶段分别对应的所述第二虚拟对象的预设AR特效数据, 获取与当 前交互阶段对应的所述第二虚拟对象的目标AR特效数据; 基于所述第二虚拟对象的目标AR特效数据, 在所述AR画面中展示第二虚拟对象的目标 AR特效。 6.根据权利要求1至5任一所述的交互方法, 其特征在于, 所述响应目标触发操作, 在AR 画面中展示所述第二虚拟对象发生状态更新的AR特效, 包括: 检测到作用在所述AR设备屏幕上的目标触发操作, 确定所述目标触发操作对应的触发 位置; 在所述触发位。
6、置位于所述第二虚拟对象对应的目标位置范围内的情况下, 在AR画面中 展示所述第二虚拟对象发生状态更新的AR特效。 7.根据权利要求6所述的交互方法, 其特征在于, 所述触发位置为在预先构建的三维场 景地图中的坐标位置, 所述第二虚拟对象对应的目标位置范围为在预先构建的三维场景地 图中的坐标位置范围; 所述确定所述目标触发操作对应的触发位置, 包括: 根据所述目标触发操作作用在屏幕上的屏幕位置, 以及屏幕坐标系与实时定位与地图 构建SLAM坐标系之间的转换关系, 确定与所述屏幕位置对应的SLAM坐标位置; 权利要求书 1/3 页 2 CN 112148188 A 2 将所述SLAM坐标位置映射到。
7、预先构建的三维场景地图中, 得到所述目标触发操作在所 述预先构建的三维场景地图中对应的所述触发位置。 8.根据权利要求1至7任一所述的交互方法, 其特征在于, 所述响应目标触发操作, 在AR 画面中展示所述第二虚拟对象发生状态更新的AR特效, 包括: 检测到所述AR设备的位姿数据变化, 确定所述AR设备是否朝向所述第二虚拟对象; 在所述AR设备朝向所述第二虚拟对象的情况下, 在AR画面中展示所述第二虚拟对象发 生状态更新的AR特效。 9.根据权利要求8所述的交互方法, 其特征在于, 所述确定所述AR设备是否朝向所述第 二虚拟对象, 包括: 获取所述AR设备在预先构建的三维场景地图中的当前位姿数。
8、据; 基于所述AR设备的当前位姿数据, 确定所述AR设备在所述预先构建的三维场景地图中 的当前朝向; 基于所述当前朝向, 以及所述第二虚拟对象在所述三维场景地图中的当前位姿数据, 确定所述AR设备是否朝向所述第二虚拟对象。 10.根据权利要求8所述的交互方法, 其特征在于, 所述AR画面中还展示与所述AR设备 保持预设相对位姿关系的第三虚拟对象; 所述响应目标触发操作, 在AR画面中展示所述第二虚拟对象发生状态更新的AR特效, 包括: 检测到所述AR设备的位姿数据变化, 基于所述AR设备在预先构建的三维场景地图中的 当前位姿数据和所述预设相对位姿关系, 确定所述第三虚拟对象是否朝向所述第二虚拟。
9、对 象; 在所述第三虚拟对象朝向所述第二虚拟对象的情况下, 在AR画面中展示所述第二虚拟 对象发生状态更新的AR特效。 11.根据权利要求1至10任一所述的交互方法, 其特征在于, 所述通过AR设备展示与当 前拍摄的现实场景画面匹配的AR画面, 包括: 响应针对AR画面中展示的静止状态的第一虚拟对象的移动触发操作, 控制所述AR画面 中的第一虚拟对象开始移动。 12.根据权利要求11任一所述的交互方法, 其特征在于, 所述控制所述AR画面中的第一 虚拟对象开始移动, 包括: 控制所述AR画面中的第一虚拟对象按照目标移动路线移动; 所述交互方法还包括: 在所述第一虚拟对象按照目标移动路线移动到终。
10、点位置后, 在所述AR画面中展示成功 提示信息。 13.根据权利要求1至12任一所述的交互方法, 其特征在于, 所述交互方法还包括: 在所述AR画面中展示用于指示所述第一虚拟对象的活动状态的状态指示信息; 在所述状态指示信息指示所述第一虚拟对象停止活动的情况下, 在所述AR画面中展示 失败提示信息。 14.根据权利要求1至13任一所述的交互方法, 其特征在于, 所述交互方法还包括: 获取当前累计执行目标触发操作的次数; 权利要求书 2/3 页 3 CN 112148188 A 3 根据所述当前累计执行目标触发操作的次数, 更新所述AR设备的属性值; 确定与所述更新后的属性值对应的所述AR设备的。
11、控制属性信息; 所述在AR画面中展示所述第二虚拟对象发生状态更新的AR特效, 包括: 基于所述控制属性信息, 在所述AR画面中展示所述第二虚拟对象发生状态更新的AR特 效。 15.根据权利要求1至14任一所述的交互方法, 其特征在于, 所述通过AR设备展示与当 前拍摄的现实场景画面匹配的AR画面, 包括: 获取AR设备拍摄的现实场景画面; 基于所述现实场景画面, 以及预先构建的三维场景地图, 在所述AR设备展示与所述AR 设备的实时位姿数据匹配的AR画面。 16.根据权利要求15所述的交互方法, 其特征在于, 所述基于所述现实场景画面, 以及 预先构建的三维场景地图, 在所述AR设备展示与所述。
12、AR设备的实时位姿数据匹配的AR画 面, 包括: 基于所述AR设备拍摄的现实场景画面, 以及所述预先构建的三维场景地图, 确定所述 AR设备的初始位姿数据; 基于所述AR设备的初始位姿数据, 通过实时定位与地图构建SLAM, 确定所述AR设备的 实时位姿数据; 基于所述AR设备的实时位姿数据, 在所述AR设备展示与所述AR设备的实时位姿数据匹 配的AR画面。 17.一种增强现实场景下的交互装置, 其特征在于, 包括: 定位展示模块, 用于通过AR设备展示与当前拍摄的现实场景画面匹配的AR画面; 所述 AR画面中展示有第一虚拟对象; 检测展示模块, 用于在检测到预设触发展示条件的情况下, 在所述。
13、AR画面中展示第二 虚拟对象的目标AR特效; 所述第二虚拟对象与所述第一虚拟对象之间具有预设的运动关 系; 操作展示模块, 用于响应目标触发操作, 在AR画面中展示所述第二虚拟对象发生状态 更新的AR特效。 18.一种电子设备, 其特征在于, 包括: 处理器、 存储器和总线, 所述存储器存储有所述 处理器可执行的机器可读指令, 当电子设备运行时, 所述处理器与所述存储器之间通过总 线通信, 所述机器可读指令被所述处理器执行时执行如权利要求1至16任一所述的交互方 法的步骤。 19.一种计算机可读存储介质, 其特征在于, 该计算机可读存储介质上存储有计算机程 序, 该计算机程序被处理器运行时执行。
14、如权利要求1至16任一所述的交互方法的步骤。 权利要求书 3/3 页 4 CN 112148188 A 4 增强现实场景下的交互方法、 装置、 电子设备及存储介质 技术领域 0001 本公开涉及增强现实技术领域, 具体而言, 涉及一种增强现实场景下的交互方法、 装置、 电子设备及存储介质。 背景技术 0002 增强现实(Augmented Reality, AR)技术, 通过将实体信息(视觉信息、 声音、 触觉 等)通过模拟仿真后, 叠加到真实世界中, 从而将真实的环境和虚拟的物体实时地在同一个 画面或空间呈现。 近年来, AR设备的应用领域越来越广, 使得AR设备在生活、 工作、 娱乐中起 。
15、到了重要的作用, 对AR设备呈现的增强现实场景的效果的优化以及交互方式的优化, 越发 重要。 发明内容 0003 本公开实施例至少提供一种增强现实场景下的交互方案。 0004 第一方面, 本公开实施例提供了一种增强现实场景下的交互方法, 包括: 0005 通过AR设备展示与当前拍摄的现实场景画面匹配的AR画面; 所述AR画面中展示有 第一虚拟对象; 0006 在检测到预设触发展示条件的情况下, 在所述AR画面中展示第二虚拟对象的目标 AR特效; 所述第二虚拟对象与所述第一虚拟对象之间具有预设的运动关系; 0007 响应目标触发操作, 在AR画面中展示所述第二虚拟对象发生状态更新的AR特效。 0。
16、008 本公开实施例中, 在检测到预设触发展示条件的情况下, 可以在AR画面中展示与 第一虚拟对象之间具有预设的运动关系的第二虚拟对象的目标AR特效, 用户可以通过针对 AR设备的触发操作, 对第二虚拟对象的展示状态进行更新, 从而增加用户与AR设备之间的 交互性。 0009 在一种可能的实施方式中, 所述预设触发展示条件包括以下条件中的至少一种: 0010 所述第一虚拟对象到达至少一个目标移动位置中的任一目标移动位置; 0011 当前到达至少一个目标时间点中的任一目标时间点; 0012 所述第二虚拟对象与所述第一虚拟对象之间的距离小于设定距离阈值。 0013 在一种可能的实施方式中, 所述预。
17、设的运动关系包括预设的相对运动关系; 0014 所述在所述AR画面中展示第二虚拟对象的目标AR特效, 包括: 0015 在所述AR画面展示所述第二虚拟对象按照所述预设的相对运动关系朝向或背离 所述第一虚拟对象移动的第一AR特效。 0016 在一种可能的实施方式中, 所述预设的运动关系包括预设的交互运动关系; 0017 所述在所述AR画面中展示第二虚拟对象的目标AR特效, 包括: 0018 在所述AR画面中展示所述第二虚拟对象与所述第一虚拟对象之间按照所述预设 的交互运动关系进行交互运动的第二AR特效。 0019 在一种可能的实施方式中, 所述在所述AR画面中展示第二虚拟对象的目标AR特 说明书。
18、 1/20 页 5 CN 112148188 A 5 效, 包括: 0020 根据预设的不同交互阶段分别对应的所述第二虚拟对象的预设AR特效数据, 获取 与当前交互阶段对应的所述第二虚拟对象的目标AR特效数据; 0021 基于所述第二虚拟对象的目标AR特效数据, 在所述AR画面中展示第二虚拟对象的 目标AR特效。 0022 本公开实施例中, 通过结合不同触发阶段对应的第二虚拟对象的预设AR特效数据 对第二虚拟对象进行展示, 可以丰富AR场景的展示内容。 0023 在一种可能的实施方式中, 所述响应目标触发操作, 在AR画面中展示所述第二虚 拟对象发生状态更新的AR特效, 包括: 0024 检测。
19、到作用在所述AR设备屏幕上的目标触发操作, 确定所述目标触发操作对应的 触发位置; 0025 在所述触发位置位于所述第二虚拟对象对应的目标位置范围内的情况下, 在AR画 面中展示所述第二虚拟对象发生状态更新的AR特效。 0026 本公开实施例中, 可以根据用户在AR设备屏幕上触发的目标触发操作, 比如点击 操作, 确定是否触发第二虚拟对象发生状态更新的AR特效, 从而增加用户与AR设备之间的 交互性, 提高用户体验度。 0027 在一种可能的实施方式中, 所述触发位置为在预先构建的三维场景地图中的坐标 位置, 所述第二虚拟对象对应的目标位置范围为在预先构建的三维场景地图中的坐标位置 范围; 0。
20、028 所述确定所述目标触发操作对应的触发位置, 包括: 0029 根据所述目标触发操作作用在屏幕上的屏幕位置, 以及屏幕坐标系与实时定位与 地图构建SLAM坐标系之间的转换关系, 确定与所述屏幕位置对应的SLAM坐标位置; 0030 将所述SLAM坐标位置映射到预先构建的三维场景地图中, 得到所述目标触发操作 在所述预先构建的三维场景地图中对应的所述触发位置。 0031 在一种可能的实施方式中, 所述响应目标触发操作, 在AR画面中展示所述第二虚 拟对象发生状态更新的AR特效, 包括: 0032 检测到所述AR设备的位姿数据变化, 确定所述AR设备是否朝向所述第二虚拟对 象; 0033 在所。
21、述AR设备朝向所述第二虚拟对象的情况下, 在AR画面中展示所述第二虚拟对 象发生状态更新的AR特效。 0034 本公开实施例中, 在检测到AR设备的位姿发生变化的情况下, 确定AR设备是否朝 向第二虚拟对象, 通过该朝向信息确定是否触发第二虚拟对象发生状态更新的AR特效, 从 而可以增加用户与AR设备之间的交互性, 提高用户体验度。 0035 在一种可能的实施方式中, 所述确定所述AR设备是否朝向所述第二虚拟对象, 包 括: 0036 获取所述AR设备在预先构建的三维场景地图中的当前位姿数据; 0037 基于所述AR设备的当前位姿数据, 确定所述AR设备在所述预先构建的三维场景地 图中的当前朝。
22、向; 0038 基于所述当前朝向, 以及所述第二虚拟对象在所述三维场景地图中的当前位姿数 说明书 2/20 页 6 CN 112148188 A 6 据, 确定所述AR设备是否朝向所述第二虚拟对象。 0039 本公开实施例中, 通过将虚拟对象和AR设备统一在相同坐标系下确定AR设备针对 虚拟对象的朝向情况, 可以提升AR场景的虚拟融合程度。 0040 在一种可能的实施方式中, 所述AR画面中还展示与所述AR设备保持预设相对位姿 关系的第三虚拟对象; 0041 所述响应目标触发操作, 在AR画面中展示所述第二虚拟对象发生状态更新的AR特 效, 包括: 0042 检测到所述AR设备的位姿数据变化,。
23、 基于所述AR设备在预先构建的三维场景地图 中的当前位姿数据和所述预设相对位姿关系, 确定所述第三虚拟对象是否朝向所述第二虚 拟对象; 0043 在所述第三虚拟对象朝向所述第二虚拟对象的情况下, 在AR画面中展示所述第二 虚拟对象发生状态更新的AR特效。 0044 在一种可能的实施方式中, 所述通过AR设备展示与当前拍摄的现实场景画面匹配 的AR画面, 包括: 0045 响应针对AR画面中展示的静止状态的第一虚拟对象的移动触发操作, 控制所述AR 画面中的第一虚拟对象开始移动。 0046 在一种可能的实施方式中 0047 控制所述AR画面中的第一虚拟对象按照目标移动路线移动; 0048 所述交。
24、互方法还包括: 0049 在所述第一虚拟对象按照目标移动路线移动到终点位置后, 在所述AR画面中展示 成功提示信息。 0050 在一种可能的实施方式中, 所述交互方法还包括: 0051 在所述AR画面中展示用于指示所述第一虚拟对象的活动状态的状态指示信息; 0052 在所述状态指示信息指示所述第一虚拟对象停止活动的情况下, 在所述AR画面中 展示失败提示信息。 0053 在一种可能的实施方式中, 所述交互方法还包括: 0054 获取当前累计执行目标触发操作的次数; 0055 根据所述当前累计执行目标触发操作的次数, 更新所述AR设备的属性值; 0056 确定与所述更新后的属性值对应的所述AR设。
25、备的控制属性信息; 0057 所述在AR画面中展示所述第二虚拟对象发生状态更新的AR特效, 包括: 0058 基于所述控制属性信息, 在所述AR画面中展示所述第二虚拟对象发生状态更新的 AR特效。 0059 本公开实施例中, 可以随着目标触发操作的次数的累计, 在AR画面中展示AR设备 对应的不同控制属性信息, 便于基于不同的控制属性信息, 在AR画面中展示不同的AR特效, 以增加用户与AR设备之间的交互性。 0060 在一种可能的实施方式中, 所述通过AR设备展示与当前拍摄的现实场景画面匹配 的AR画面, 包括: 0061 获取AR设备拍摄的现实场景画面; 0062 基于所述现实场景画面, 。
26、以及预先构建的三维场景地图, 在所述AR设备展示与所 说明书 3/20 页 7 CN 112148188 A 7 述AR设备的实时位姿数据匹配的AR画面。 0063 本公开实施例中, 通过获取AR设备的实时位姿数据, 来展示与AR设备的实时位姿 匹配的AR画面, 从而可以提高AR画面的虚实融合程度。 0064 在一种可能的实施方式中, 所述基于所述现实场景画面, 以及预先构建的三维场 景地图, 在所述AR设备展示与所述AR设备的实时位姿数据匹配的AR画面, 包括: 0065 基于所述AR设备拍摄的现实场景画面, 以及所述预先构建的三维场景地图, 确定 所述AR设备的初始位姿数据; 0066 基。
27、于所述AR设备的初始位姿数据, 通过实时定位与地图构建SLAM, 确定所述AR设 备的实时位姿数据; 0067 基于所述AR设备的实时位姿数据, 在所述AR设备展示与所述AR设备的实时位姿数 据匹配的AR画面。 0068 本公开实施例中, 在通过AR设备展示与当前拍摄的现实场景画面匹配的AR画面的 情况下, 可以结合预先构建的三维场景地图以及SLAM技术完成对AR设备的实时定位, 从而 快速得到准确度较高的AR设备的实时位姿数据。 0069 第二方面, 本公开实施例提供了一种增强现实场景下的交互装置, 包括: 0070 定位展示模块, 用于通过AR设备展示与当前拍摄的现实场景画面匹配的AR画面。
28、; 所述AR画面中展示有第一虚拟对象; 0071 检测展示模块, 用于在检测到预设触发展示条件的情况下, 在所述AR画面中展示 第二虚拟对象的目标AR特效; 所述第二虚拟对象与所述第一虚拟对象之间具有预设的运动 关系; 0072 操作展示模块, 用于响应目标触发操作, 在AR画面中展示所述第二虚拟对象发生 状态更新的AR特效。 0073 在一种可能的实施方式中, 所述预设触发展示条件包括以下条件中的至少一种: 0074 所述第一虚拟对象到达至少一个目标移动位置中的任一目标移动位置; 0075 当前到达至少一个目标时间点中的任一目标时间点; 0076 所述第二虚拟对象与所述第一虚拟对象之间的距离。
29、小于设定距离阈值。 0077 在一种可能的实施方式中, 所述预设的运动关系包括预设的相对运动关系; 0078 所述检测展示模块在用于在所述AR画面中展示第二虚拟对象的目标AR特效时, 包 括: 0079 在所述AR画面展示所述第二虚拟对象按照所述预设的相对运动关系朝向或背离 所述第一虚拟对象移动的第一AR特效。 0080 在一种可能的实施方式中, 所述预设的运动关系包括预设的交互运动关系; 0081 所述检测展示模块在用于在所述AR画面中展示第二虚拟对象的目标AR特效时, 包 括: 0082 在所述AR画面中展示所述第二虚拟对象与所述第一虚拟对象之间按照所述预设 的交互运动关系进行交互运动的第。
30、二AR特效。 0083 在一种可能的实施方式中, 所述检测展示模块在用于所述AR画面中展示第二虚拟 对象的目标AR特效时, 包括: 0084 根据预设的不同交互阶段分别对应的所述第二虚拟对象的预设AR特效数据, 获取 说明书 4/20 页 8 CN 112148188 A 8 与当前交互阶段对应的所述第二虚拟对象的目标AR特效数据; 0085 基于所述第二虚拟对象的目标AR特效数据, 在所述AR画面中展示第二虚拟对象的 目标AR特效。 0086 在一种可能的实施方式中, 所述操作展示模块在用于响应目标触发操作, 在AR画 面中展示所述第二虚拟对象发生状态更新的AR特效时, 包括: 0087 检。
31、测到作用在所述AR设备屏幕上的目标触发操作, 确定所述目标触发操作对应的 触发位置; 0088 在所述触发位置位于所述第二虚拟对象对应的目标位置范围内的情况下, 在AR画 面中展示所述第二虚拟对象发生状态更新的AR特效。 0089 在一种可能的实施方式中, 所述触发位置为在预先构建的三维场景地图中的坐标 位置, 所述第二虚拟对象对应的目标位置范围为在预先构建的三维场景地图中的坐标位置 范围; 0090 所述操作展示模块在用于确定所述目标触发操作对应的触发位置时, 包括: 0091 根据所述目标触发操作作用在屏幕上的屏幕位置, 以及屏幕坐标系与实时定位与 地图构建SLAM坐标系之间的转换关系, 。
32、确定与所述屏幕位置对应的SLAM坐标位置; 0092 将所述SLAM坐标位置映射到预先构建的三维场景地图中, 得到所述目标触发操作 在所述预先构建的三维场景地图中对应的所述触发位置。 0093 在一种可能的实施方式中, 所述操作展示模块在用于响应目标触发操作, 在AR画 面中展示所述第二虚拟对象发生状态更新的AR特效时, 包括: 0094 检测到所述AR设备的位姿数据变化, 确定所述AR设备是否朝向所述第二虚拟对 象; 0095 在所述AR设备朝向所述第二虚拟对象的情况下, 在AR画面中展示所述第二虚拟对 象发生状态更新的AR特效。 0096 在一种可能的实施方式中, 所述操作展示模块在用于确。
33、定所述AR设备是否朝向所 述第二虚拟对象时, 包括: 0097 获取所述AR设备在预先构建的三维场景地图中的当前位姿数据; 0098 基于所述AR设备的当前位姿数据, 确定所述AR设备在所述预先构建的三维场景地 图中的当前朝向; 0099 基于所述当前朝向, 以及所述第二虚拟对象在所述三维场景地图中的当前位姿数 据, 确定所述AR设备是否朝向所述第二虚拟对象。 0100 在一种可能的实施方式中, 所述AR画面中还展示与所述AR设备保持预设相对位姿 关系的第三虚拟对象; 0101 所述操作展示模块在用于响应目标触发操作, 在AR画面中展示所述第二虚拟对象 发生状态更新的AR特效时, 包括: 01。
34、02 检测到所述AR设备的位姿数据变化, 基于所述AR设备在预先构建的三维场景地图 中的当前位姿数据和所述预设相对位姿关系, 确定所述第三虚拟对象是否朝向所述第二虚 拟对象; 0103 在所述第三虚拟对象朝向所述第二虚拟对象的情况下, 在AR画面中展示所述第二 虚拟对象发生状态更新的AR特效。 说明书 5/20 页 9 CN 112148188 A 9 0104 在一种可能的实施方式中, 所述定位展示模块在用于通过AR设备展示与当前拍摄 的现实场景画面匹配的AR画面时, 包括: 0105 响应针对AR画面中展示的静止状态的第一虚拟对象的移动触发操作, 控制所述AR 画面中的第一虚拟对象开始移动。
35、。 0106 在一种可能的实施方式中, 所述定位展示模块在用于控制所述AR画面中的第一虚 拟对象开始移动时, 包括: 0107 控制所述AR画面中的第一虚拟对象按照目标移动路线移动; 0108 所述定位展示模块, 还用于在所述第一虚拟对象按照目标移动路线移动到终点位 置后, 在所述AR画面中展示成功提示信息。 0109 在一种可能的实施方式中, 所述检测展示模块还用于: 0110 在所述AR画面中展示用于指示所述第一虚拟对象的活动状态的状态指示信息; 0111 在所述状态指示信息指示所述第一虚拟对象停止活动的情况下, 在所述AR画面中 展示失败提示信息。 0112 在一种可能的实施方式中, 所。
36、述操作展示模块还用于: 0113 获取当前累计执行目标触发操作的次数; 0114 根据所述当前累计执行目标触发操作的次数, 更新所述AR设备的属性值; 0115 确定与所述更新后的属性值对应的所述AR设备的控制属性信息; 0116 所述操作展示模块在用于在AR画面中展示所述第二虚拟对象发生状态更新的AR 特效时, 包括: 0117 基于所述控制属性信息, 在所述AR画面中展示所述第二虚拟对象发生状态更新的 AR特效。 0118 在一种可能的实施方式中, 所述定位展示模块在用于通过AR设备展示与当前拍摄 的现实场景画面匹配的AR画面时, 包括: 0119 获取AR设备拍摄的现实场景画面; 012。
37、0 基于所述现实场景画面, 以及预先构建的三维场景地图, 在所述AR设备展示与所 述AR设备的实时位姿数据匹配的AR画面。 0121 在一种可能的实施方式中, 所述定位展示模块在用于基于所述现实场景画面, 以 及预先构建的三维场景地图, 在所述AR设备展示与所述AR设备的实时位姿数据匹配的AR画 面时, 包括: 0122 基于所述AR设备拍摄的现实场景画面, 以及所述预先构建的三维场景地图, 确定 所述AR设备的初始位姿数据; 0123 基于所述AR设备的初始位姿数据, 通过实时定位与地图构建SLAM, 确定所述AR设 备的实时位姿数据; 0124 基于所述AR设备的实时位姿数据, 在所述AR。
38、设备展示与所述AR设备的实时位姿数 据匹配的AR画面。 0125 第三方面, 本公开实施例提供了一种电子设备, 包括: 处理器、 存储器和总线, 所述 存储器存储有所述处理器可执行的机器可读指令, 当电子设备运行时, 所述处理器与所述 存储器之间通过总线通信, 所述机器可读指令被所述处理器执行时执行如第一方面所述的 交互方法的步骤。 说明书 6/20 页 10 CN 112148188 A 10 0126 第四方面, 本公开实施例提供了一种计算机可读存储介质, 该计算机可读存储介 质上存储有计算机程序, 该计算机程序被处理器运行时执行如第一方面所述的交互方法的 步骤。 0127 为使本公开的上。
39、述目的、 特征和优点能更明显易懂, 下文特举较佳实施例, 并配合 所附附图, 作详细说明如下。 附图说明 0128 为了更清楚地说明本公开实施例的技术方案, 下面将对实施例中所需要使用的附 图作简单地介绍, 此处的附图被并入说明书中并构成本说明书中的一部分, 这些附图示出 了符合本公开的实施例, 并与说明书一起用于说明本公开的技术方案。 应当理解, 以下附图 仅示出了本公开的某些实施例, 因此不应被看作是对范围的限定, 对于本领域普通技术人 员来讲, 在不付出创造性劳动的前提下, 还可以根据这些附图获得其他相关的附图。 0129 图1示出了本公开实施例所提供的一种增强现实场景下的交互方法的流程。
40、图; 0130 图2示出了本公开实施例所提供的一种基于现实场景画面展示AR画面的方法流程 图; 0131 图3示出了本公开实施例所提供的一种基于不同交互阶段下第二虚拟对象的预设 AR特效数据, 在AR画面中展示第二虚拟对象的方法流程图; 0132 图4示出了本公开实施例所提供的第一种控制第二虚拟对象发生状态更新的方法 流程图; 0133 图5示出了本公开实施例所提供的第二种控制第二虚拟对象发生状态更新的方法 流程图; 0134 图6示出了本公开实施例所提供的第三种控制第二虚拟对象发生状态更新的方法 流程图; 0135 图7示出了本公开实施例所提供的一种通过AR画面展示提示信息的方法流程图; 0。
41、136 图8示出了本公开实施例所提供的一种确定AR设备的控制属性信息的方法流程 图; 0137 图9示出了本公开实施例所提供的一种AR画面的展示界面示意图; 0138 图10示出了本公开实施例所提供的一种增强现实场景下的交互装置的结构示意 图; 0139 图11示出了本公开实施例所提供的一种电子设备的示意图。 具体实施方式 0140 为使本公开实施例的目的、 技术方案和优点更加清楚, 下面将结合本公开实施例 中附图, 对本公开实施例中的技术方案进行清楚、 完整地描述, 显然, 所描述的实施例仅仅 是本公开一部分实施例, 而不是全部的实施例。 通常在此处附图中描述和示出的本公开实 施例的组件可以。
42、以各种不同的配置来布置和设计。 因此, 以下对在附图中提供的本公开的 实施例的详细描述并非旨在限制要求保护的本公开的范围, 而是仅仅表示本公开的选定实 施例。 基于本公开的实施例, 本领域技术人员在没有做出创造性劳动的前提下所获得的所 有其他实施例, 都属于本公开保护的范围。 说明书 7/20 页 11 CN 112148188 A 11 0141 应注意到: 相似的标号和字母在下面的附图中表示类似项, 因此, 一旦某一项在一 个附图中被定义, 则在随后的附图中不需要对其进行进一步定义和解释。 0142 本文中术语 “和/或” , 仅仅是描述一种关联关系, 表示可以存在三种关系, 例如, A 。
43、和/或B, 可以表示: 单独存在A, 同时存在A和B, 单独存在B这三种情况。 另外, 本文中术语 “至 少一种” 表示多种中的任意一种或多种中的至少两种的任意组合, 例如, 包括A、 B、 C中的至 少一种, 可以表示包括从A、 B和C构成的集合中选择的任意一个或多个元素。 0143 增强现实(Augmented Reality, AR)技术可以应用于AR设备中, AR设备可以为任何 能够支持AR功能的电子设备, 包括但不限于AR眼镜、 平板电脑、 智能手机等。 当AR设备在现 实场景中被操作时, 通过该AR设备可以观看到叠加在现实场景中的虚拟对象, 当AR技术应 用于娱乐类场景中, 比如应。
44、用于交互场景中, 如何能够通过AR技术增加用户与AR设备之间 的交互性, 为本公开实施例所要讨论的内容, 下面将结合以下具体实施例进行阐述。 0144 基于上述研究, 本公开提供了一种增强现实场景下的交互方法, 可以通过AR设备 当前拍摄的现实场景画面展示匹配的AR画面, 这样在AR设备拍摄的现实场景画面的角度变 化时, 该第一虚拟对象对应的展示角度也可以跟随拍摄角度的变化而变化, 从而可以使得 AR画面中展示的第一虚拟对象的展现形式更具有真实感, 另外, 在检测到预设触发展示条 件的情况下, 还可以在AR画面中展示与第一虚拟对象之间具有预设的运动关系的第二虚拟 对象的目标AR特效, 用户可以。
45、通过针对AR设备的触发操作, 对第二虚拟对象的展示状态进 行更新, 从而增加用户与AR设备之间的交互性。 0145 为便于对本实施例进行理解, 首先对本公开实施例所公开的一种增强现实场景下 的交互方法进行详细介绍, 本公开实施例所提供的增强现实场景下的交互方法的执行主体 一般为具有一定计算能力的计算机设备, 该计算机设备例如包括: 终端设备或服务器或其 它处理设备, 终端设备可以是具有AR功能的AR设备, 比如可以包括AR眼镜、 平板电脑、 智能 手机、 智能穿戴式设备等具有显示功能和数据处理能力的设备, 本公开实施例中不作限定。 在一些可能的实现方式中, 该增强现实场景下的交互方法可以通过处。
46、理器调用存储器中存 储的计算机可读指令的方式来实现。 0146 参见图1所示, 为本公开实施例提供的增强现实场景下的交互方法的流程图, 如图 1所示, 该交互方法包括以下S101S103: 0147 S101, 通过AR设备展示与当前拍摄的现实场景画面匹配的AR画面; AR画面中展示 有第一虚拟对象。 0148 示例性地, AR设备为具有AR功能的设备, 包括AR眼镜、 平板电脑、 智能手机、 智能穿 戴式设备等具有显示功能和数据处理能力的设备。 0149 在AR设备拍摄到现实场景画面后, 可以基于该现实场景画面以及预先构建的三维 场景地图, 确定AR设备的当前位姿数据, 然后基于该AR设备的。
47、当前位姿数据, 以及预先确定 的第一虚拟对象在三维场景地图中对应的位姿数据, 在AR设备中展示该第一虚拟对象; 或 者, 还可以基于AR设备拍摄的现实场景画面中包含的实体物体, 确定匹配的AR画面, 以及展 示第一虚拟对象, 本公开不进行具体限定。 0150 示例性地, 以设定AR交互场景为例, 该第一虚拟对象可以是位于虚拟水域中的虚 拟北极熊, 在对AR设备定位成功后, 可以在AR画面中展示位于虚拟水域中的虚拟北极熊。 0151 S102, 在检测到预设触发展示条件的情况下, 在AR画面中展示第二虚拟对象的目 说明书 8/20 页 12 CN 112148188 A 12 标AR特效; 第二。
48、虚拟对象与第一虚拟对象之间具有预设的运动关系。 0152 示例性地, 预设触发展示条件可以预先设定好的, 在检测到满足预设触发展示条 件的情况下, 再在AR画面中展示第二虚拟对象的目标AR特效。 0153 示例性地, 在未检测到预设触发展示条件的情况下, 在AR画面中可以不展示第二 虚拟对象, 在检测到预设触发展示条件的情况下, 在AR画面中开始展示第二虚拟对象的目 标AR特效; 或者, 在未检测到预设触发展示条件的情况下, 在AR画面中展示的第二虚拟对象 处于初始AR特效, 检测到预设触发展示条件的情况下, 在AR画面中展示第二虚拟对象由初 始AR特效变为目标AR特效。 0154 示例性地,。
49、 第二虚拟对象与第一虚拟对象之间具有的预设的运动关系可以包括预 设的相对运动关系和/或预设的交互运动关系, 其中, 预设的相对运动关系可以包括第二虚 拟对象朝向或背离第一虚拟对象的方向移动, 预设的交互运动关系可以包括第二虚拟对象 与第一虚拟对象发生接触。 0155 在预设的运动关系包含预设的相对运动关系的情况下, 检测到预设触发展示条 件, 可以在AR画面中可以展示第二虚拟对象朝向或背离第一虚拟对象移动的目标AR特效; 在预设的运动关系包含预设的交互运动关系的情况下, 检测到预设触发展示条件, 可以在 AR画面中可以展示第二虚拟对象与第一虚拟对象接触的目标AR特效; 在预设的运动关系同 时包。
50、含预设的相对运动关系和预设的交互运动关系的情况下, 检测到预设触发展示条件, 可以在AR画面中可以展示第二虚拟对象朝向第一虚拟对象移动, 并在靠近后与第一虚拟对 象接触的目标AR特效。 0156 示例性地, 针对上述提到的AR交互场景, 以预设的运动关系包含预设的相对运动 关系和预设的交互运动关系为例, 该第二虚拟对象可以为在满足预设触发展示条件下展示 的虚拟鲨鱼, 该虚拟鲨鱼和上述虚拟北极熊之间具有预设的运动关系, 在满足预设触发展 示条件的情况下, 在AR画面中可以展示虚拟鲨鱼朝向虚拟北极熊移动, 并在靠近虚拟北极 熊后攻击虚拟北极熊的目标AR特效。 0157 S103, 响应目标触发操作。
- 内容关键字: 增强 现实 场景 交互 方法 装置 电子设备 存储 介质
链接地址:https://www.zhuanlichaxun.net/pdf/10122993.html