基于张量块循环展开的彩色图像补全方法.pdf

《基于张量块循环展开的彩色图像补全方法.pdf》由会员分享，可在线阅读，更多相关《基于张量块循环展开的彩色图像补全方法.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010774427.2 (22)申请日 2020.08.04 (71)申请人 西安交通大学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 赵广社姚彦军王鼎衡刘美兰 武碧娇张哲 (74)专利代理机构 西安通大专利代理有限责任 公司 61200 代理人 马贵香 (51)Int.Cl. G06T 5/00(2006.01) (54)发明名称 一种基于张量块循环展开的彩色图像补全 方法 (57)摘要 本发明公开了一种基于张量块循环展开的 彩色图像补全方法， 属于图。

2、像处理技术领域。 首 先输入待补全图像并对缺失像素进行n近邻初始 化， 得到目标图像； 然后初始化模型参数， 估计目 标图像的块循环展开秩并设置权重系数。 接着将 目标图像以张量形式输入图像补全模型， 并采用 交替方向乘子法通过迭代对模型进行凸优化求 解， 其中图像补全模型为基于张量块循环展开的 低秩矩阵因式分解模型。 最后， 对迭代得到的张 量进行数据格式转换， 使之以待补全图像的格式 输出。 本方法在进行张量块循环展开时增加了图 像切片之间的联系性， 从而在一定程度上降低了 展开操作所造成的图像结构信息的损失； 补全图 像的峰值信噪比有了显著提高， 且纹理和细节信 息更加丰富。 权利要求书。

3、2页 说明书7页 附图7页 CN 112116532 A 2020.12.22 CN 112116532 A 1.一种基于张量块循环展开的彩色图像补全方法， 其特征在于， 包括以下步骤： 步骤1： 输入待补全图像并对其缺失像素进行n近邻初始化， 得到目标图像； 步骤2： 设置最大迭代次数K、 块循环秩的截断参数thre以及相邻两次迭代间的误差阈 值 ； 步骤3： 估计目标图像的块循环秩rr1,r2,r3， 并设置展开矩阵的权重系数 1, 2, 3， 其中， 1+ 2+ 31； 步骤4： 将目标图像以张量形式输入图像补全模型， 并采用交替方向乘子法通过迭代 对图像补全模型进行凸优化求解， 其中，。

4、 图像补全模型为基于张量块循环展开的低秩矩阵 因式分解模型； 步骤5： 计算相邻两次迭代之间的相对误差RE； 步骤6： 当迭代次数达到最大迭代次数K或相邻两次迭代间的相对误差RE小于相邻两次 迭代间的误差阈值 时， 输出图像， 完成图像的补全； 否则跳至步骤4进行下一次迭代。 2.如权利要求1所述的基于张量块循环展开的彩色图像补全方法， 其特征在于， 步骤1 具体为： 对于待补全图像初始化未知像素点的值为其n近邻已知像素点的均 值， 得到目标图像并使其中为图像像素点的可观测子集。 3.如权利要求2所述的基于张量块循环展开的彩色图像补全方法， 其特征在于， 近邻n 的取值为待补全图像可观测像素点。

5、比例的1030倍。 4.如权利要求1所述的基于张量块循环展开的彩色图像补全方法， 其特征在于， 步骤2 中， 最大迭代次数K为100， 块循环秩的截断参数0.005thre0.02， 相邻两次迭代间的误 差阈值 为0.001。 5.如权利要求1所述的基于张量块循环展开的彩色图像补全方法， 其特征在于， 步骤3 的具体步骤为： 首先对目标图像的几个维度分别作块循环展开， 得到展开矩阵X(n),n1, 2,3： 然后估计块循环展开矩阵X(n)的截断秩rn以及权重系数 n； 截断秩rn定义如下： 其中为X(n)SVD分解的奇异值矩阵S(n)中第i个由大到小排列的奇异值； 对于展开矩阵其权重系数 n定。

6、义为矩阵行数和列数的较小值： nmin(IaIn,IbIn) /sum( )。 6.如权利要求1所述的基于张量块循环展开的彩色图像补全方法， 其特征在于， 步骤4 包括以下步骤： 步骤4.1： 对输入张量进行块循环展开， 建立基于张量块循环展开的低秩矩阵因式分解 权利要求书 1/2 页 2 CN 112116532 A 2 模型目标函数； 步骤4.2： 针对步骤4.1中的优化问题， 采用交替方向乘子法进行凸优化求解得到解矩 阵 步骤4.3： 对解矩阵作逆张量块循环展开构造与原始张量同样大小的张量 利用步骤3中得到的权重系数对张量加权求和得到补全张量利用可观测子集 实现 7.如权利要求6所述的基。

7、于张量块循环展开的彩色图像补全方法， 其特征在于， 步骤4.1 具体为： 展开矩阵通过因式分解表示为X(n)UnVn,建 立如下基于张量块循环展开的低秩矩阵因式分解模型目标函数： 其中，表示矩阵X的Frobenius范数。 8.如权利要求6所述的基于张量块循环展开的彩色图像补全方法， 其特征在于， 步骤 4.2中， 采用交替方向乘子法进行凸优化求解， 具体为： 9.如权利要求6所述的基于张量块循环展开的彩色图像补全方法， 其特征在于， 步骤 4.3中， 利用步骤4.2中的解矩阵构造张量时，的具体切片块为解 矩阵中相同切片块之和的均值； 并且通过可观测子集实现 10.如权利要求1所述的基于张量块。

8、循环展开的彩色图像补全方法， 其特征在于， 步骤5 中， 相邻两次迭代之间的相对误差定义为： 其中为本次迭代计算结果， 为上次迭代计算结果。 权利要求书 2/2 页 3 CN 112116532 A 3 一种基于张量块循环展开的彩色图像补全方法 技术领域 0001 本发明属于图像处理技术领域， 具体涉及一种基于张量块循环展开的彩色图像补 全方法。 背景技术 0002 随着时代的发展和科技的进步， 数据的表现形式不断地推陈出新。 针对图像数据 而言， 黑白时代利用矩阵即可表示和处理； 然而进入彩色时代， 利用矩阵处理图像变得困 难， 于是高阶数组被用来储存图像以保存其特殊的结构， 这种高阶数组通。

9、常被称为张量。 张 量是向量和矩阵概念的推广， 向量和矩阵可视为特殊的一阶张量和二阶张量。 0003 视觉信息是人们日常生活中感知和认知世界最多且最有效的一种信息， 从二维的 灰度图像到三通道彩色图像， 乃至四维的视频数据， 图像无时不刻充斥着人们生活的方方 面面。 然而， 在图像的形成、 传输和保存的过程中， 由于成像系统、 记录设备和保存环境的不 完善等的影响， 导致图像质量的下降； 而高质量图像所带来的视觉感知和图像信息是损坏 图像无法比拟的。 因此， 通过张量补全来进行图像恢复具有重要的研究意义和应用价值。 0004 目前， 张量补全主要是利用张量的低秩特性对待补全张量进行优化求解， 。

10、较成熟 的方法是通过不同的张量分解模型对张量进行展开， 并对展开矩阵采用低秩矩阵补全的方 法进行处理。 张量分解模型主要有CP分解、 Tucker分解、 Tensor Train(TT)分解、 Tensor Ring(TR)分解以及Hierarchical Tensor(HT)分解等； 然而， 利用上述分解模型对张量进行 展开时不可避免地破坏了张量的原始结构， 一定程度上降低了张量元素之间的联系性。 从 而导致张量补全效果不尽人意。 发明内容 0005 为了解决上述问题， 本发明的目的在于提供一种基于张量块循环展开的彩色图像 补全方法， 简便高效， 补全图像的峰值信噪比有了显著提高， 且纹理和。

11、细节信息更加丰富。 0006 本发明是通过以下技术方案来实现： 0007 一种基于张量块循环展开的彩色图像补全方法， 包括以下步骤： 0008 步骤1： 输入待补全图像并对其缺失像素进行n近邻初始化， 得到目标图像； 0009 步骤2： 设置最大迭代次数K、 块循环秩的截断参数thre以及相邻两次迭代间的误 差阈值 ； 0010步骤3： 估计目标图像的块循环秩rr1,r2,r3， 并设置展开矩阵的权重系数 1, 2, 3， 其中， 1+ 2+ 31； 0011步骤4： 将目标图像以张量形式输入图像补全模型， 并采用交替方向乘子法通过 迭代对图像补全模型进行凸优化求解， 其中， 图像补全模型为基。

12、于张量块循环展开的低秩 矩阵因式分解模型； 0012 步骤5： 计算相邻两次迭代之间的相对误差RE； 0013 步骤6： 当迭代次数达到最大迭代次数K或相邻两次迭代间的相对误差RE小于相邻 说明书 1/7 页 4 CN 112116532 A 4 两次迭代间的误差阈值 时， 输出图像， 完成图像的补全； 否则跳至步骤4进行下一次迭代。 0014优选地， 步骤1具体为： 对于待补全图像初始化未知像素点的值为其n 近邻已知像素点的均值， 得到目标图像并使其中为图像像素 点的可观测子集。 0015 进一步优选地， 近邻n的取值为待补全图像可观测像素点比例的1030倍。 0016 优选地， 步骤2中，。

13、 最大迭代次数K为100， 块循环秩的截断参数0.005thre 0.02， 相邻两次迭代间的误差阈值 为0.001。 0017优选地， 步骤3的具体步骤为： 首先对目标图像的几个维度分别作块循环展开， 得到展开矩阵X(n),n1,2,3： 0018 0019 然后估计块循环展开矩阵X(n)的截断秩rn以及权重系数 n； 截断秩rn定义如下： 0020 0021其中为X(n)SVD分解的奇异值矩阵S(n)中第i个由大到小排列的奇异值； 0022对于展开矩阵其权重系数 n定义为矩阵行数和列数的较小值： 0023 nmin(IaIn,IbIn) 0024 /sum( )。 0025 优选地， 步骤。

14、4包括以下步骤： 0026 步骤4.1： 对输入张量进行块循环展开， 建立基于张量块循环展开的低秩矩阵因式 分解模型目标函数； 0027 步骤4.2： 针对步骤4.1中的优化问题， 采用交替方向乘子法进行凸优化求解得到 解矩阵 0028步骤4.3： 对解矩阵作逆张量块循环展开构造与原始张量同样大小 的张量利用步骤3中得到的权重系数对张量加权求和得到补全张量利用可 观测子集实现 0029进一步优选地， 步骤4.1具体为： 展开矩阵通过因式分解表示为X(n) UnVn,建立如下基于张量块循环展开的低秩矩阵因式分解模型 目标函数： 0030 0031其中，表示矩阵X的Frobenius范数。 说明书。

15、 2/7 页 5 CN 112116532 A 5 0032 进一步优选地， 步骤4.2中， 采用交替方向乘子法进行凸优化求解， 具体为： 0033 0034 0035 0036进一步优选地， 步骤4.3中， 利用步骤4.2中的解矩阵构造张量 时，的具体切片块为解矩阵中相同切片块之和的均值； 并且通过可观测子集实 现 0037 0038 优选地， 步骤5中， 相邻两次迭代之间的相对误差定义为： 0039 0040其中为本次迭代计算结果， 为上次迭代计算结果。 0041 与现有技术相比， 本发明具有以下有益的技术效果： 0042 本发明公开的基于张量块循环展开的彩色图像补全方法， 在张量块循环矩。

16、阵基础 上提出了一种新的张量展开模型， 即张量块循环展开； 利用该展开模型， 展开矩阵的行数和 列数更加平衡、 更接近方阵。 相比于mode-n和modes-n展开方式， 虽然块循环展开矩阵依旧 在一定程度上破坏了原始张量结构， 但通过张量块循环组合的方式， 增加了张量数据各元 素之间的联系性， 从而在一定程度上弥补了结构破坏带来的不利影响， 使本发明能够得到 更好的补全效果。 同时， 从张量块循环展开矩阵出发， 本发明定义的块循环秩， 其本质为展 开矩阵的截断秩， 使得本发明中所采用的张量补全算法在迭代过程可以采用矩阵因式分解 进行优化求解， 从而避免了采用SVD分解方案的巨大计算量。 采用。

17、该方法补全图像的峰值信 噪比有了显著提高， 且纹理和细节信息更加丰富。 0043 进一步地， 一般情况下当图像像素点缺失大于90时补全效果不再显著， 因此本 发明主要针对缺失率小于等于90的情况。 当利用n近邻方法对图像缺失像素点进行初始 化时， 为了使初始化像素值更加接近真实值， 需要保证近邻的数量大于等于3； 而为了提升 效率， n的值不宜过大， 一般设置不超过10， 因此n的取值设置为图像可观测像素点比例的10 30倍， 使其处于一个合理的范围。 0044 进一步地， 迭代次数为一个经验值， 需要经过多次实验得到， 若设置过小， 则凸优 化无法达到最优值， 若设置过大， 则可能造成过拟合。

18、。 经过多次实验验证， 最大迭代次数设 置为100左右比较合适。 在凸优化迭代过程中， 算法的收敛速度随着迭代次数的增加逐渐减 小， 当算法的收敛速度很小时， 每次迭代对算法结果的优化将不再显著； 本发明中所定义的 迭代误差和收敛速度呈正相关， 故当相邻两次迭代间的误差满足误差条件时， 停止迭代以 说明书 3/7 页 6 CN 112116532 A 6 减小算法耗时。 实验中我们发现当相邻两次迭代间的误差小于0.001时， 后续迭代对补全图 像质量的提升十分有限， 因此误差阈值 设置为0.001。 附图说明 0045 图1为本发明的基于张量块循环展开的彩色图像补全方法的流程图； 0046 图。

19、2是本发明张量块循环展开与mode-n展开对比示意图(三阶彩色图像数据沿第 三个维度展开)； 0047 图3是本发明实施例中原始图像Lena； 0048 图4是本发明实施例中原始图像House； 0049 图5是本发明实施例中原始图像Facade； 0050 图6是本发明实施例中原始图像Peppers； 0051 图7是本发明实施例中原始图像Barbara； 0052 图8是本发明实施例中Lena的随机缺失图像； 0053 图9是本发明实施例中House的横条纹缺失图像； 0054 图10是本发明实施例中Facade的竖条纹缺失图像； 0055 图11是本发明实施例中Peppers的随机划痕缺。

20、失图像； 0056 图12是本发明实施例中Barbara的文字遮挡缺失图像； 0057 图13是本发明实施例中Lena的补全图像； 0058 图14是本发明实施例中House的补全图像； 0059 图15是本发明实施例中Facade的补全图像； 0060 图16是本发明实施例中Peppers的补全图像； 0061 图17是本发明实施例中Barbara的补全图像。 具体实施方式 0062 下面以附图和具体实施例对本发明做进一步的详细说明， 所述是对本发明的解释 而不是限定。 0063 如图1所示， 本发明的基于张量块循环展开的彩色图像补全方法， 具体包括以下步 骤： 0064步骤1： 输入待补全。

21、的缺失图像将图像的每个像素值看作一个元素， 储存图像 为三阶张量的形式， 当输入三通道彩色图像时， I33。 然后对缺失像素进行初始化， 此处初始化缺失像素点为其n近邻已知像素点的平均值， 得到目标图像 其中n的值可根据待补全图像可观测像素点的比例设置， 一般设置为可观测像素点比例的 1030倍， 使n的取值在310之间。 0065 步骤2： 设置最大迭代次数K、 块循环秩截断参数thre以及相邻两次迭代间的误差 阈值 ； 其中迭代次数一般可设置为100， 块循环秩截断参数thre可在0.005,0.02范围内 取值， 相邻两次迭代间的误差阈值 可设置为0.001。 0066步骤3： 估计目标。

22、图像的块循环秩， 并且设置相应展开矩阵的权重系数。 首先需 要对张量的三个维度分别作块循环展开， 得到展开矩阵X(n),n1,2,3： 说明书 4/7 页 7 CN 112116532 A 7 0067 0068 张量块循环展开可理解为对张量其中一个维度作切片操作， 切片依次构成块队 列， 然后块队列循环向后移动， 最终当第一张切片块移动到队列尾端时结束。 图2所示为三 通道彩色图像按第三个维度色彩通道进行mode-n展开和块循环展开的示意图， 从图中可 以直观看出， 相比mode-n展开， 块循环展开(bcirc)增加了图像RGB三通道之间的联系性， 并 且展开矩阵更加平衡。 0069 此外。

23、， 得到展开矩阵后需要估计它们的截断秩， 此处采用奇异值估计方法， 对展开 矩阵进行SVD分解得到奇异值矩阵S(n)来估计张量的块循环展开矩阵的截断秩rn， 其中rn满 足： 0070 0071其中为奇异值矩阵S(n)中第i个由大到小排列奇异值， thre为截断参数， 其取值 范围为0.005thre0.2。 从而可以得到图像张量的块循环展开截断秩rr1,r2,r3。 0072通过上述分析可知张量块循环展开矩阵为则权重系数 n定义为： 0073 nmin(IaIn,IbIn) 0074 为了使其满足 1+ 2+ 31， 还需对权重系数除以权重系数之和， 即： 0075 /sum( ) 0076。

24、步骤4： 将目标图像以张量形式输入图像补全模型， 并采用交替方向乘子法 (ADMM)通过迭代对模型进行凸优化求解， 包括以下步骤； 0077步骤4.1： 分别对的三个维度作张量块循环展开， 得到三个展开矩阵X(n),n1, 2,3； 需要注意的是此处不能再利用SVD分解进行优化求解。 因为SVD分解计算量比较大， 而 本发明中所采用的张量块循环展开矩阵要比mode-n和modes-n展开矩阵大很多， 如果每次 算法迭代都需要处理SVD分解， 整个算法的计算量将会十分巨大， 这种情况下将会耗费大量 的资源。 因此， 需要在迭代过程尽可能地中避免SVD分解。 此处采用低秩矩阵因式分解的方 法， 在。

25、估计得到张量展开矩阵截断秩rn的条件下， 展开矩阵X(n)可因式分解为X(n)UV, 从而建立基于张量块循环展开的低秩矩阵因式分解目标函数： 0078 0079 0080其中，表示矩阵X的Frobenius范数 0081 当展开维度n固定时， 上述优化问题可以更一般地表示为： 0082 0083 步骤4.2： 针对步骤4.1得到的优化模型， 可以采用交替方向乘子法(ADMM)或块坐 说明书 5/7 页 8 CN 112116532 A 8 标下降法(BCD)来进行优化求解， 此处我们采用ADMM来进行凸优化求解。 固定变量X(n),Un,Vn 中的任意两个变量而改变另一个变量， 此时该模型简化。

26、为一个简单的凸优化问题。 通过下 式分别更新三个变量： 0084 0085 0086 0087为了减小计算量， 上述更新中可用代 替， 从而减少了每次更新中广义逆的计算， 一定程度上减少了计算量， 改善了算法的效率。 0088步骤4.3： 对步骤4.2得到的解矩阵作张量块逆展开(即利用块循环展开矩阵 构造张量)得到和原始图像数据大小相同的张量然后利用步骤3中得到的权重系数对 加权求和。 具体操作为： 首先需要将解矩阵中在原始张量中位置相同的切片求其平均值， 然后在张量的展开维度上叠加切片构造与被展开张量同样大小的张量 最后对重构张量加权求和得到补全张量并利用可观测子集实现具体 表示如下： 00。

27、89 0090 步骤5： 计算相邻两次迭代之间的相对误差RE， 其定义为： 0091 0092其中为本次迭代计算结果，为上次迭代计算结果， 为误差阈值， 一般可设 置为0.001。 0093 步骤6： 判断是否满足以下两个停止条件中的任意一个； 若满足， 输出图像； 否则跳 至步骤4； 0094 (1)迭代次数达到最大迭代次数； 0095 (2)相邻两次迭代间的误差小于误差阈值。 0096 需要说明的是， 迭代次数为一个经验值， 需要经过多次实验得到， 若设置过小， 则 凸优化无法达到最优值， 若设置过大， 则可能造成过拟合。 0097 在凸优化迭代过程中， 算法的收敛速度随着迭代次数的增加逐。

28、渐减小， 当算法的 收敛速度很小时， 每次迭代对算法结果的优化将不再显著； 本发明中所定义的迭代误差和 收敛速度呈正相关， 故当相邻两次迭代间的误差满足误差条件时， 停止迭代以减小算法耗 时。 0098 为了展示本发明对彩色图像的补全效果， 此处选取数字图像处理标准测试集中的 五张图像做不同种类缺失的实验， 原始图如图3至图7所示。 五种缺失分别为如图8所示Lena 说明书 6/7 页 9 CN 112116532 A 9 图像的像素点随机缺失、 图9所示House图像的横条纹缺失、 图10所示Facade图像的竖条纹 缺失、 图11所示Peppers图像的随机划痕缺失以及图12所示Barba。

29、ra图像的文字遮挡缺失。 0099 利用本发明分别对缺失图像进行补全处理， 得到的补全效果图如图13至图17所 示。 从视觉上主观判断， 本发明可以很好地处理五种不同类型的缺失， 对比原始图像发现在 图像的细节和纹理等方面有不错的补全效果。 为了证实这一判断， 此处采用评价图像补全 质量好坏的客观指标峰值信噪比(PSNR)、 结构相似度(SSIM)和特征相似度(FSIM)来进行评 价。 缺失图像和补全图像的三个指标对比如表1所示。 0100 表1 0101 0102 通过主观视觉和客观指标双重评价， 以上实验证明本发明方法在图像补全方面效 果显著， 且补全图像质量较高。 0103 需要说明的是。

30、， 以上所述仅为本发明实施方式的一部分， 根据本发明所描述的系 统所做的等效变化， 均包括在本发明的保护范围内。 本发明所属技术领域的技术人员可以 对所描述的具体实例做类似的方式替代， 只要不偏离本发明的结构或者超越本权利要求书 所定义的范围， 均属于本发明的保护范围。 说明书 7/7 页 10 CN 112116532 A 10 图1 说明书附图 1/7 页 11 CN 112116532 A 11 图2 图3 图4 说明书附图 2/7 页 12 CN 112116532 A 12 图5 图6 图7 说明书附图 3/7 页 13 CN 112116532 A 13 图8 图9 图10 说明书附图 4/7 页 14 CN 112116532 A 14 图11 图12 图13 说明书附图 5/7 页 15 CN 112116532 A 15 图14 图15 图16 说明书附图 6/7 页 16 CN 112116532 A 16 图17 说明书附图 7/7 页 17 CN 112116532 A 17 。