基于对象级变换神经网络的跟踪方法.pdf

上传人:小** 文档编号:13774014 上传时间:2023-05-26 格式:PDF 页数:15 大小:1.39MB
收藏 版权申诉 举报 下载
基于对象级变换神经网络的跟踪方法.pdf_第1页
第1页 / 共15页
基于对象级变换神经网络的跟踪方法.pdf_第2页
第2页 / 共15页
基于对象级变换神经网络的跟踪方法.pdf_第3页
第3页 / 共15页
文档描述:

《基于对象级变换神经网络的跟踪方法.pdf》由会员分享,可在线阅读,更多相关《基于对象级变换神经网络的跟踪方法.pdf(15页完成版)》请在专利查询网上搜索。

1、(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202211113345.9 (22)申请日 2022.09.14 (71)申请人 浙江工业大学 地址 310014 浙江省杭州市拱墅区潮王路 18号 (72)发明人 产思贤陶健白琮 (74)专利代理机构 杭州天正专利事务所有限公 司 33201 专利代理师 舒良 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06V 20/40(2022.01) G06N 3/04(2006.01) G06N。

2、 3/08(2006.01) (54)发明名称 一种基于对象级变换神经网络的跟踪方法 (57)摘要 一种基于对象级变换神经网络的跟踪方法, 包括: 1)根据给定的视频序列和第一帧的标注信 息Box1, 获取待跟踪视频序列的跟踪模板Z和动 态局部模板Zdl; 其中动态局部模板Zdl由跟踪模 板Z处理后获得, 包含9个局部模板; 2)根据上一 帧的标注信息, 获取待跟踪视频序列的搜索图片 Si; 3)基于步骤1)和步骤2)将跟踪模板Z、 动态局 部模板Zdl和搜索图片Si作为对象级变换神经网 络的输入, 获取特征编码后的搜索图片特征X; 4) 基于步骤3)将编码后的搜索图片特征X作为角点 预测网络。

3、的输入, 获得当前帧中目标定位信息 Boxi; 5)通过动态局部模板更新策略更新局部模 板。 本发明将对象级的注意力设计为窗户注意 力, 从而有效地避免背景信息分散注意力。 权利要求书3页 说明书9页 附图2页 CN 115619822 A 2023.01.17 CN 115619822 A 1.一种基于对象级变换神经网络的跟踪方法, 通过构建的对象级变换神经网络进行目 标跟踪, 其特征在于: 包括以下步骤: 1)根据给定的视频序列和第一帧的标注信息Box1, 获取待跟踪视频序列的跟踪模板Z和 动态局部模板Zdl; 其中动态局部模板Zdl由跟踪模板Z处理后获得, 包含9个局部模板; 2)根据上。

4、一帧的标注信息, 获取待跟踪视频序列的搜索图片Si; 3)基于步骤1)和步骤2)将跟踪模板Z、 动态局部模板Zdl和搜索图片Si作为对象级变换 神经网络的输入, 获取特征编码后的搜索图片特征X; 4)基于步骤3)将编码后的搜索图片特征X作为角点预测网络的输入, 获得当前帧中目 标定位信息Boxi; 5)通过动态局部模板更新策略更新局部模板; 根据步骤4)预测的Boxi, 使用与步骤1)一 样的方式获取当前动态局部模板Zdli; 同时, 根据Boxi通过PrRoIPooling获取对应Zdli中9个 局部模板的特征向量, 并输入到质量评估网络获取可靠性评分; 根据得到的可靠性评分和 动态局部模板。

5、Zdli, 对历史动态局部模板Zdl中评分低的部分进行替换。 2.根据权利要求1所述的基于对象级变换神经网络的跟踪方法, 其特征在于: 步骤1)所 述的获取待跟踪视频序列的跟踪模板Z和动态局部模板Zdl, 包括以下子步骤: (11)将人为标注的跟踪目标包围框信息放大预设第一倍数, 从待根据视频序列第一帧 图片中裁剪出跟踪模板Z; (12)复制一份跟踪模板Z, 以滑动窗口的方式分割出九块局部模板Zdl; 其中滑动窗口宽 高为跟踪模板大小的二分之一, 步长为跟踪模板大小的四分之一。 3.根据权利要求1所述的基于对象级变换神经网络的跟踪方法, 其特征在于: 步骤2)所 述的获取待跟踪视频序列的搜索图。

6、片Si, 具体方法为: 将上一帧的跟踪结果信息Boxi1放大预设第二倍数, 从当前待处理的帧中裁剪出搜索 图片。 4.根据权利要求1所述的基于对象级变换神经网络的跟踪方法, 其特征在于: 步骤3)所 述的获取对象级变换神经网络, 包括以下子步骤: (31)跟踪模板动态局部模板与搜索特征 拼接在一起作为对象变换神经网络的输入 (32)将输入X进行拆分和变形后通过全卷积嵌入层进行下采样; (33)将下采样后的特征进行特征编码; (34)对象级变换神经网络采用分层的多阶段架构, 分为三个阶段, 每个阶段之前通过 全卷积嵌入层对特征进行下采样; 在每个阶段, 重复执行相同的操作数次, 编码输入特征中 。

7、的目标判别性信息, 其中第一阶段和第二阶段重复一次, 第三阶段重复九次; (35)特征编码部分包含级联的对象级注意力和通道注意力; 其中对象级注意力采用迭 代二分聚类算法将输入经过k个迭代后划分为2k个对象簇; 在第每次迭代, 随 机初始化两个簇中心和公式如下: 权利要求书 1/3 页 2 CN 115619822 A 2 其中表示输入X中的某一个向量, mN/2; 然后将簇中心移动两次保证可 靠性, 采用如下操作: c1; c2Softmax(c1; c2XT)X (2) 其中表示两个簇中心的拼接, T表示转置; 然后计算余弦距离率r如 下: 其中D(a,b)表示计算a和b之间的余弦距离; 。

8、最后, 对余弦距离率进行排序, 将输入X划 分为两个簇, 具体公式如下: 其中和表示两个划分后的簇, argsort表示获取排序后的下标; k个迭代后, 对特征 序列进行空间注意力编码, 具体方法如下: 其中由经过线性层后生成; h表示计算过程中头的数量, d C/h, T表示转置; 最终, 获得经过对象级注意力编码后的特征 通道注意力将编码后的特征进行按通道编码, 具体公式如下: 其中由XSA经过线性层后生成; h表示计算过程中头的数量, d C/h, T表示转置; 最终, 获得经过通道注意力编码后的特征 5.根据权利要求1所述的基于对象级变换神经网络的跟踪方法, 其特征在于: 步骤5)所 。

9、述的动态局部模板更新策略, 包括以下子步骤: (51)根据步骤1), 获取新的动态局部模板; (52)利用PrRoIPooling从抽取对应的九个特征向量将Xroi和跟踪模 板特征作为可靠性评分计算过程的输入; 权利要求书 2/3 页 3 CN 115619822 A 3 (53)质量评估网络具体公式如下: Sroi (W1Rroi) (8) 其中表示可靠性评分 ;由X r o i经过全连接层生成 , 由XZ经过全连接层生成; W1全连接层操作, 表示激活函数ReLU, T表示 转置; (54)为了避免引入过多跟踪目标的中间局部模板, 仅再对应位置进行局部模板更新, 具体如下: 其中, arg。

10、sort表示获取排序后的下标, topk表示选择前k个, 和分别表示历史的和当前的动态局部模板; (55)每20帧更新一次动态局部模板。 权利要求书 3/3 页 4 CN 115619822 A 4 一种基于对象级变换神经网络的跟踪方法 技术领域 0001 本申请属于图像处理技术领域, 尤其涉及一种基于对象级变换神经网络的跟踪方 法。 背景技术 0002 视觉目标跟踪是计算机视觉领域的一项基本任务, 其目标是基于初始人工标注来 估计任意感兴趣目标的未来状态。 因此, 视觉目标跟踪已被广泛应用于自动驾驶、 人机交互 系统和智能监控。 随着视觉变换神经网络的普及, 视觉目标跟踪的跟踪性能得到了进一。

11、步 的提高, 但仍有许多挑战尚未克服, 如剧烈变形、 部分遮挡、 复杂背景和尺度变化。 0003 大多数基于孪生网络的跟踪器采用相关性方法计算模板和搜索区域之间的亲和 力。 这种计算过程容易受到局部最优问题的影响。 最近, 基于变换神经网络的跟踪器通过引 入变换神经网络的自注意模块或交叉注意模块来提高视觉跟踪的性能。 MixFormer和SBT进 一步描述了单流单阶段的框架, 它产生了更紧凑和整洁的跟踪范式。 然而, 这些范式的全局 视角忽略了前景和背景之间的区别。 大量的背景标记不可避免地导致注意力模块对对象的 判别信息失去关注。 OSTrack提出了早期消除模块, 该模块通过早期获得的相似。

12、度评分的先 验值来消除背景标记。 SparseTT引入了一个稀疏变换神经网络, 特征的每个令牌(token)分 数仅由topK令牌分数决定, 以提高前景背景的辨别能力。 0004 此外, 测试阶段跟踪目标外观变化也是跟踪漂移的核心因素。 解决这一问题需要 一种有效的在线更新策略。 然而, 大多数更新策略引入数个完整的历史跟踪结果(与初始模 板大小相同)来获时序信息。 于是时序信息的丰富性与计算复杂度之间存在着内在的矛盾。 发明内容 0005 本申请的目的是提供一种基于对象级变换神经网络的跟踪方法, 在现有技术方案 中引入对象级变换神经网络和动态局部模板更新策略, 以克服上述背景技术中所提出的技。

13、 术问题。 0006 本发明包括以下步骤: 0007 一种基于对象级变换神经网络的跟踪方法, 通过构建的对象级变换神经网络进行 目标跟踪, 其特征在于包括以下步骤: 0008 1)根据给定的视频序列和第一帧的标注信息Box1, 获取待跟踪视频序列的跟踪模 板Z和动态局部模板Zdl; 其中动态局部模板Zdl由跟踪模板Z处理后获得, 包含9个局部模板; 0009 2)根据上一帧的标注信息, 获取待跟踪视频序列的搜索图片Si; 0010 3)基于步骤1)和步骤2)将跟踪模板Z、 动态局部模板Zdl和搜索图片Si作为对象级 变换神经网络的输入, 获取特征编码后的搜索图片特征X; 0011 4)基于步骤。

14、3)将编码后的搜索图片特征X作为角点预测网络的输入, 获得当前帧 中目标定位信息Boxi; 0012 5)通过动态局部模板更新策略更新局部模板; 根据步骤4)预测的Boxi, 使用与步 说明书 1/9 页 5 CN 115619822 A 5 骤1)一样的方式获取当前动态局部模板Zdli。 同时, 根据Boxi通过PrRoIPooling获取对应 Zdli中9个局部模板的特征向量, 并输入到质量评估网络获取可靠性评分; 根据得到的可靠 性评分和动态局部模板Zdli, 对历史动态局部模板Zdl进行更新, 确保后续跟踪的稳定性和精 确性。 0013 注意, 整个跟踪过程步骤1)仅在第一帧实现, 步。

15、骤2)到5)不断循环直至跟踪结束。 0014 在步骤1)中所述获取待跟踪视频序列的跟踪模板Z和动态局部模板Zdl, 包括以下 子步骤: 0015 (11)将人为标注的跟踪目标包围框信息放大预设第一倍数, 从待根据视频序列第 一帧图片中裁剪出跟踪模板Z; 0016 (12)复制一份跟踪模板Z, 以滑动窗口的方式分割出九块局部模板Zdl; 其中滑动窗 口宽高为跟踪模板大小的二分之一, 步长为跟踪模板大小的四分之一。 0017 在步骤2)中所述获取待跟踪视频序列的搜索图片Si, 具体方法为: 0018 将上一帧的跟踪结果信息Boxi1放大预设第二倍数, 从当前待处理的帧中裁剪出 搜索图片。 0019。

16、 在步骤3)中, 所述获取对象级变换神经网络, 包括以下子步骤: 0020(31)跟踪模板动态局部模板与搜索 特 征拼 接 在 一 起 作 为 对 象 变 换 神 经 网 络 的 输 入 0021 (32)将输入X进行拆分和变形后通过全卷积嵌入层进行下采样; 0022 (33)将下采样后的特征进行特征编码; 0023 (34)对象级变换神经网络采用分层的多阶段架构, 分为三个阶段, 每个阶段之前 通过全卷积嵌入层对特征进行下采样。 在每个阶段, 重复执行相同的操作数次, 编码输入特 征中的目标判别性信息, 其中第一阶段和第二阶段重复一次, 第三阶段重复九次。 0024 (35)特征编码部分包含。

17、级联的对象级注意力和通道注意力; 其中对象级注意力采 用迭代二分聚类算法将输入经过k个迭代后划分为2k个对象簇。 在第每次迭 代, 随机初始化两个簇中心和公式如下: 0025 0026其中表示输入X中的某一个向量, mN/2。 然后将簇中心移动两次保 证可靠性, 采用如下操作: 0027 c1; c2Softmax(c1; c2XT)X (2) 0028其中表示两个簇中心的拼接, T表示转置。 然后计算余弦距离 率r如下: 0029 0030 其中D(a, b)表示计算a和b之间的余弦距离。 最后, 对余弦距离率进行排序, 将输入 说明书 2/9 页 6 CN 115619822 A 6 X划。

18、分为两个簇, 具体公式如下: 0031 0032其中和表示两个划分后的簇, argsort表示获取排序后的下标。 k个迭代后, 我们将特征序列进行空间注意力编码, 具体方法如下: 0033 0034其中由经过线性层后生成。 h表示计算过程中头的数 量, dC/h, T表示转置。 最终, 获得经过对象级注意力编码后的特征 0035通道注意力将对象级注意力编码后的特征进行编码, 具体公式如 下: 0036 0037其中由XSA经过线性层后生成。 h表示计算过程中头的数 量, dC/h, T表示转置。 最终, 获得经过通道注意力编码后的特征 0038 在步骤5)中, 所述动态局部模板更新策略, 包括。

19、以下子步骤: 0039 (51)根据步骤1), 获取新的动态局部模板; 0040(52)利用PrRoIPooling从抽取对应的九个特征向量将Xroi和跟 踪模板特征作为可靠性评分计算过程的输入; 0041 (53)质量评估网络具体公式如下: 0042 0043 Sroi (W1Rroi) (8) 0044其中表示可靠性评分。由Xroi经过全连接层生成, 由XZ经过全连接层生成。 W1全连接层操作, 表示激活函数ReLU, T表示 说明书 3/9 页 7 CN 115619822 A 7 转置。 0045 (54)为了避免引入过多跟踪目标的中间局部模板, 仅再对应位置进行局部模板更 新, 具体。

20、如下: 0046 0047其中 , argsort表示获取排序后的下标 , topk表示选择前k个 , 和分别表示历史的和当前的动态局部模板。 0048 (55)每20帧更新一次动态局部模板。 0049 本发明的优点是: 引入对象级注意力以捕获相似对象之间的微小差异进行跟踪; 首先, 通过聚类相似的对象向量, 将对象级注意力设计为窗口注意力, 有效地避免了外部背 景信息的干扰; 其次, 设计了一种新的动态局部模板更新策略为视觉目标跟踪引入时序信 息, 实现了时间信息丰富度与计算量之间的权衡; 动态局部模板更新策略维护九个局部模 板, 这些模板独立采样自历史跟踪结果。 附图说明 0050 图1为。

21、本申请基于对象级变换神经网络的跟踪方法流程图。 0051 图2为本申请对象级变换神经网络结构示意图。 0052 图3为本申请质量评估网络结构示意图。 具体实施方式 0053 为了使本申请的目的、 技术方案及优点更加清楚明白, 以下结合附图及实施例, 对 本申请进行进一步详细说明。 应当理解, 此处描述的具体实施例仅用以解释本申请, 并不用 于限定本申请。 0054 在一个实施例中, 如图1所示, 提出了一种基于对象级变换神经网络的跟踪方法, 包括: 0055 步骤S1、 获取待跟踪视频序列的跟踪模板和动态局部模板。 0056 对于需要进行目标跟踪的视频序列, 本实施例首先获取其跟踪模板Z。 具。

22、体的, 将 人为标注的跟踪目标包围框信息Box1放大预设第一倍数, 从待根据视频序列第一帧图片I1 中裁剪出跟踪模板Z。 0057 例如将包围框信息Box1放大2倍, 然后第一帧图片I1中裁剪出跟踪模版Z, 包围框信 息Box1包括跟踪目标包围框的左上角坐标和右下角坐标。 0058 在获取到跟踪模板Z之后, 本实例初始化其动态局部模板Zdl。 具体的, 设计一个步 长为Z大小四分之一, 大小为Z二分之一的滑动窗口对Z进行切分, 获取包含九个局部模板的 动态局部模板Zdl。 0059例如Z1的宽高分别为WZ和HZ, 则滑动窗口的步长为和窗口大小为和 说明书 4/9 页 8 CN 11561982。

23、2 A 8 最终得到九个局部模板, 大小为和 0060 步骤S2、 从待跟踪视频序列中获取当前搜索图片。 0061 本实例将上一帧的跟踪结果信息放大预设第二倍数, 从当前待处理的帧中裁剪出 搜索图片。 0062 例如, 根据上一帧的跟踪结果Boxi1, 对输入的图片Ii, i2, n, 根据上一帧的跟 踪结果的包围框信息, 放大5倍然后裁剪出搜索图片Si。 同理上一帧的跟踪结果Boxi1, 包括 跟踪目标包围框的左上角坐标和右下角坐标。 0063 步骤S3、 将目标模板、 动态局部模板和搜索图片输入对象级变换神经网络, 编码跟 踪目标的判别性特征, 辅助预测目标位置Boxi。 0064 对象级。

24、变换神经网络采用分层的多阶段架构, 分为三个阶段, 每个阶段之前通过 全卷积嵌入层对特征进行下采样。 在每个阶段, 会对输入特征进行数次对象注意力编码和 通道注意力编码, 其中第一阶段和第二阶段重复一次, 第三阶段重复九次。 0065第 一 阶 段 ,将 目 标 模 板动 态 局 部 模 板 与搜索特征各自经过一个共享的全卷积嵌入层进行下 采样获得跟踪模板特征动态局部模板特征与搜 索特征并拼接在一起作为输入编码 对象信息。 0066需要说明的是,通常用来表示特征的尺寸, C表示通道数, H表示高度, W 表示宽度, B表示输入的批处理大小。 编码对象信息的过程中采用对象级注意力和通道注意 力编。

25、码判别性信息。 0067对象级注意力编码过程首先通过迭代二分聚类算法将输入经过k个 迭代后划分为2k个对象簇。 在第每次迭代, 随机初始化两个簇中心和 公式如下: 0068 0069其中表示输入X中的某一个向量, mN/2。 然后将簇中心移动两次保 证可靠性, 采用如下操作: 0070 c1; c2Softmax(c1; c2XT)X (2) 0071其中表示两个簇中心的拼接, T表示转置。 然后计算余弦距离 率r如下: 0072 0073 其中D(a, b)表示计算a和b之间的余弦距离。 最后, 对余弦距离率进行排序, 将输入 说明书 5/9 页 9 CN 115619822 A 9 X划分。

26、为两个簇, 具体公式如下: 0074 0075其中和表示两个划分后的簇, argsort表示获取排序后的下标。 k个迭代后, 我们将特征序列进行一般的空间注意力计算, 具体方法如下: 0076 0077其中由经过线性层后生成。 h表示注意力计算中头的数 量, dC/h, T表示转置。 最终, 获得经过对象级注意力编码后的特征 0078通道注意力编码过程将对象级注意力编码后的特征继续通道注 意力编码, 具体公式如下: 0079 0080其中由XSA经过线性层后生成。 h表示注意力计算中头的 数量, dC/h, T表示转置。 最终, 获得经过对象级注意力编码后的特征需 要注意的是该阶段特征编码重复。

27、一次。 0081第二阶段, 将第一阶段编码后的的特征进行拆 分 变 形 后 再 次 输 入 共 享 的 全 卷 积 嵌 入 层 进 行 下 采 样 , 获 得 跟 踪 模 板 特 征 动态局部模板特征与搜索特征 并拼接在一起作为输入再一次进 行特征编码。 需要注意的是该阶段仅包含一次特征编码计算。 0082第三阶段, 将第二阶段编码后的的特征进行拆 分 变 形 后 再 次 输 入 共 享 的 全 卷 积 嵌 入 层 进 行 下 采 样 , 获 得 跟 踪 模 板 特 征 动态局部模板特征与搜索特征 说明书 6/9 页 10 CN 115619822 A 10 并拼接在一起作为输入进行特征 编码。

28、。 需要注意的是该阶段重复九次特征编码计算。 0083步骤S4、 将步骤3输出的特征拆分为跟踪模板特 征动 态 局 部 模 板 特 征与 搜 索 特 征 对进行降维预测跟踪目标的角点, 获得跟踪目标的包围框信息。 0084本步骤将搜索特征变形为一个新的特征图方便后续的角点 预测, 该过程需要经过3层全连接层(FCN), 并且通过softargmax归一化, F通过三层全连接 层得到预测结果的左上角和右下角的概率分布Ptl(x, y)和Pbr(x, y), 然后分别经过soft argmax函数, 得到包围框的左上角和右下角的坐标 0085 0086其中,表示: 预测包围框的左上角坐标;表示: 。

29、预测包围框的 左上角坐标; Ptl(x, y)表示: 预测包围框左上角坐标的概率分布; Pbr(x, y)表示: 预测包围框 右下角坐标的概率分布。 0087 根据概率分布的期望值得到预测结果左上角和右下角的坐标, 然后获得包围框结 果, 最终获得跟踪结果Boxi。 0088步骤S5、 根据预测的跟踪结果Boxi, 利用PrRoIPooling从中抽 取对应的九个特征向量将Xroi和跟踪模板特征作为 输入, 通过交叉注意力获得每个局部模板的可靠性评分。 同时从第i帧中裁切获得新的动态 局部模板通过对比可靠性评分, 对动态局部模板进行更新。 0089本步骤将将Xroi和跟踪模板特征作为输入获得每。

30、个局部模板 的可靠性评分, 具体公式如下: 0090 0091 Sroi (W1Rroi) (8) 0092其中表示可靠性评分。由Xroi经过全连接层生成, 由经过全连接层生成。 W1全连接层操作, 表示激活函数ReLU, T表 说明书 7/9 页 11 CN 115619822 A 11 示转置。 然后, 每20帧更新一次动态局部模板。 为了避免引入过多跟踪目标的中间局部模 板, 仅再对应位置进行局部模板更新, 具体如下: 0093 0094其中 , argsort表示获取排序后的下标 , topk表示选择前k个 , 和分别表示历史的和当前的动态局部模板 和 0095 对于如图2所示的整个深。

31、度学习模型, 需要进行两阶段训练后才能够进行实际的 应用, 训练过程如下: 0096 第一阶段, 对训练数据集进行预处理, 选取视频序列中间隔为T的两帧, 根据标注 信息, 依照裁切模板图片和搜索图片到128128和320320尺寸, 动态局部模板包含九块 尺寸为6464的局部模板; 0097 将预处理后的训练数据集输入到深度学习模型, 进行训练, 训练中计算联合损失, 进行反向传播, 更新模型参数, 完成训练。 0098 联合损失采用如下公式表示: 0099 0100 其中, Liou表示交并比损失, 用来衡量真值与预测值的距离, L1表示平均绝对误差 损失, iou、 表示对应损失函数的权。

32、重, 例如分别是5和2, bi和表示真值和预测的包围 框。 0101 训练过程中, 批处理大小为80, 学习率从0.0001下降到0.00001, 使用AdamW算法迭 代训练500次并保存每次迭代结果, 后100次迭代以整体网络学习率的十分之一开始训练。 需要注意的是该阶段仅对变换神经网络的参数进行微调 0102 第二阶段, 对质量评估网络的参数进行微调。 对训练数据集进行预处理, 选取视频 序列中间隔为T的两帧, 根据标注信息, 依照裁切模板图片和搜索图片到128128和320 320尺寸, 动态局部模板包含九块尺寸为6464的局部模板; 0103 将预处理后的训练数据集输入到深度学习模型。

33、, 进行训练, 训练中计算交叉熵损 失, 进行反向传播, 更新模型参数, 完成训练。 0104 交叉熵损失采用如下公式表示: 0105 0106 其中, yi表示真值, 存在跟踪目标为1, 不存在为0。 pi表示最终预测的可靠性分数。 0107 训练过程中, 批处理大小为256, 学习率从0.0001下降到0.00001, 使用AdamW算法 迭代训练40次并保存每次迭代结果, 后10次迭代以整体网络学习率的十分之一开始训练。 需要注意的是该阶段仅微调质量评估网络的参数, 变换神经网络的参数全程被冻结。 0108 本发明通过利用对象级变换神经网络编码跟踪模板、 动态局部模板和搜索图片中 说明书。

34、 8/9 页 12 CN 115619822 A 12 具有判别性的目标信息, 聚类相似的对象令牌, 将对象级的注意力设计为窗户注意力, 从而 有效地避免背景信息分散注意力。 其次, 通过设计一种新的动态局部模板更新策略, 为单目 标跟踪引入时序信息, 实现了时间信息丰富和计算负担之间的权衡。 动态局部模板更新策 略维护了九个局部模板, 这些模板是在测试过程中独立进行采样的。 0109 以上所述实施例仅表达了本申请的几种实施方式, 其描述较为具体和详细, 但并 不能因此而理解为对发明专利范围的限制。 应当指出的是, 对于本领域的普通技术人员来 说, 在不脱离本申请构思的前提下, 还可以做出若干变形和改进, 这些都属于本申请的保护 范围。 因此, 本申请专利的保护范围应以所附权利要求为准。 说明书 9/9 页 13 CN 115619822 A 13 图1 图2 说明书附图 1/2 页 14 CN 115619822 A 14 图3 说明书附图 2/2 页 15 CN 115619822 A 15 。

展开阅读全文
内容关键字: 基于 对象 变换 神经网络 跟踪 方法
关于本文
本文标题:基于对象级变换神经网络的跟踪方法.pdf
链接地址:https://www.zhuanlichaxun.net/pdf/13774014.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1 
 


收起
展开