基于多字典学习和PCA的在线超分辨率重构

基于多字典学习和 PCA的在线超分辨率重构

张耕睿 张硕 谢越灵 张华健

（哈尔滨理工大学，哈尔滨 150080）

摘 要 为了解决图像分辨率低的问题，本文提出了多字典学习和PCA的在线超分辨率重构算法，算法分为两个阶段：字典训练和重构。在训练阶段，首先将低分辨率样本图像分为若干类，然后提取低分辨率图像特征，并对其进行降维，最后根据高低分辨率图像具有相同稀疏系数的基本原理，在每一类内训练高低分辨率字典对。在重构阶段，首先提取输入图像特征块并获取特征类别，然后根据类内低分辨率字典求解稀疏系数，最后通过稀疏系数和高分辨率字典获得重构的图像块并将所有图像块融合为高分辨率图像。实验结果表明，算法在公开数据库中取得了较好的效果。

关键词 超分辨率；图像；稀疏表示；PCA；

中图分类号 TP391 文献标识码 A

1 引言

图像超分辨率 (Super Resolution，SR) 重构是从一幅低分辨率(Low Resolution，LR)图像中恢复出高分辨率(High Resolution，HR)图像^[1]的图像处理方法。该技术通过图像处理方法实现图像重构，不需要更换任何硬件设备，主要方法有：基于插值的、基于重建的和基于学习的方法^[2]。

基于插值的方法通常是利用己知相邻像素的灰度值来生成待插值像素的灰度值，是在不改变低分辨率图像像素的前提下，对缺失的高分辨率像素通过一定的插值函数进行内插。经典的插值方法有最近邻、双线性、双立方和三次样条插值等^[3]，这些方法原理简单易于实现，实时性较高，因此成为最流行的技术之一，但是这些方法都是全局性的，忽略了插值区域内的局部差异性，重构图像过于平滑，比较模糊，视觉效果改善有限，难以满足实际应用的要求。基于建模的方法是通过已知成像模型和相关参数，求解退化模型的逆过程，反演高分辨率图像的方法。因为超分辨率问题的不适定性，所以建模求解过程成中会引入适当的先验正则项用来约束高分辨率图像和低分辨率图像之间的一致性，以获得最优解。比较经典的方法有迭代反向投影法（Iterative Back Projection，IBP）^[4]、凸集投影法（Projection Onto Convex Sets，POCS）^[5]和最大后验概率法（Maximum A Posteriori，MAP）^[6]等。其中，基于MAP的方法能够方便有效地引入先验知识，构造的最优化函数具有唯一解，更受到广大研究者的青睐。基于建模的方法可以较好地恢复边缘信息，但是重构效果过于依赖先验知识的选取，而先验模型对不同的图像结构，泛化能力较弱，包含的信息比较单一。基于学习的方法为当前的主流方法。首个基于学习的算法于1999年被Freeman 等人^[7]提出。虽然该算法取得了较好的算法，但是计算原理复杂，比较耗时。针对这一问题，Chang 等人^[8]提出一种邻域嵌入（Neighbor Embedding，NE）算法，该算法对样本数量要求低的情况下且不需要对样本进行训练，具有较好的重构效果，但是效果受邻域块的数目影响较大。针对此问题，Yang等^[9]提出了基于稀疏编码的SR方法(Sparse Coding Super Resolution，SCSR)，不需要选择邻域数量，通过稀疏表示对稀疏字典原子进行自动选择。自此，稀疏域内的超分辨率重构方法成为主流，并产生了诸多有效的算法。张垚等^[10]通过非线性的方式自适应调整正则化参数。Shenlong Wang等^[11]提出半耦合字典用于学习学习高低分辨率稀疏系数之间的关系。稀疏理论框架下超分辨重构方法虽然取得了较好的重构效果，但是重构效果过于依赖大尺寸的稀疏字典，从而导致重构时间比较长不适于在线应用。

针对稀疏理论框架下超分辨重构在线应用问题，本文提出了一种基于多字典学习和PCA的在线超分辨率重构算法。采用聚类方案将训练样本分成若干类，并对图像特征进行PCA降维，并在类内实现字典训练，进而可以通过小字典重构高分辨率图像达到降低重构时间的目的。

2 稀疏模型简介

将信号用有限元素的线性组合表示称为信号的稀疏表示。假定信号 ，在数学上可以表示为

(1)

其中， 为过完备字典， 为稀疏表示系数，α只有有限个（K个）非零元素，则α是K(<L)稀疏的。

稀疏问题的求解方程如公式(2)所示。

(2)

其中，D是词典, 是绝对误差，f是待重建图像。

3 算法描述

3.1 字典训练

由于每一类内样本训练方法相同，所以在接下有关阐述中不再做分类处理介绍。本文采用PCA方法对低分辨率特征进行降维，而高分辨率特征未进行任何处理，训练特征集可表示为：

(3)

其中， 为用于训练的高低分辨率样本特征。

根据高低分辨率特征共享系数的原则，可采用（4）所示的目标最小化方法学习获得高低分辨率字典 和 。

(4)

其中，N 和 M 分别为高低分辨率训练样本的维数； 为正则化参数。

上述方程可简述为：

(5)

其中， ， 。

这里我们采用K-SVD方法对（5）所示的优化问题进行求解，从而获得高低分辨率字典对。

3.2 图像重构

假设输入LR图像 ，重构HR图像 的主要步骤为：

1. 通过双三次线性插值将 扩大到与 一样大小的图像 ；

2. 将 划分成相互重叠的图像块 （n为块的个数），提取块的高频特征，记为 。

3. 针对每一个 ，确定其所属类别，并进行PCA降维，利用类内 ，通过OMP算法求解公式（6）：

(6)

其中， 为正则化参数。

4. 所对应的HR特征 为：

(7)

5. 将所有HR图像块 根据的位置合成相应的HR图像 。

4 实验结果及分析

本节将在公开数据库Set5数据库上进行2倍超分辨率重构测试，训练图像下载于yang^[9]的主页。本节将实验结果与经典的NE方法、SCSR方法进行比较，如表1所示，列出了峰值信噪比（Peak Signal to Noise Ratio，PSNR）、结构相似度（Structural Similarity，SSIM）和重构时间的比较结果。可以看到，与NE方法相比，本文算法有明显的优势。相比较于经典的SCSR方法，虽然PSNR和SSIM略低，但是重构速度优势明显，重构时间仅为其1/10，满足在线应用的需求。 ‘Butterfly’原始真实图像和重构后的图像如图1所示。由图可见，重构图像的视觉效果显示， NE算法重构的图像存在振铃现象，本文算法和SCSR的视觉效果无明显差异。

(a) LR图像 (b) 真实HR图像 (c) NE算法 (d) SCSR算法 (d) 本文算法

图1 超分辨率重构图像视觉效果比较

表1 PSNR (dB)，SSIM和运行时间(s)结果比较

5 结束语

本文提出了一种基于字典学习和PCA的在线超分辨率重构算法。在字典训练阶段，对训练样本进行K均值聚类，并在类内根据PCA降维后的图像特征训练高低分辨率字典对。重构阶段，通过字典对估算高分辨率稀疏系数，进而重构高分辨率图像。本文算法具有较好的视觉效果，并在重构时间上有很大优势，满足在线应用的需求。

参考文献:

[1] 楼鑫杰,李小薪,刘志勇.基于反馈机制的图像超分辨率重建算法[J].计算机工程,2022,48(02):261-267.DOI:10.19678/j.issn.1000-3428.0059901.

[2] 李彬,喻夏琼,王平,傅瑞罡,张虹.基于深度学习的单幅图像超分辨率重建综述[J].计算机工程与科学,2021,43(01):112-124.

[3] 唐艳秋,潘泓,朱亚平,李新德.图像超分辨率重建研究综述[J].电子学报,2020,48(07):1407-1420.

[4] Irani M, Peleg S. Improving Resolution by Image Registration[J]. Cvgip Graphical Models & Image Processing, 1991, 53(3):231-239.

[5] Stark H, Oskoui P. High Resolution Image Recovery from Image Plane Arrays, Using Convex Projections[J]. Journal of the Optical Society of America: A Optics & Image Science, 1989, 6(11):1715.

[6] Schultz R R, Stevenson R L. A Bayesian Approach to Image Expansion for Improved Definition[J]. IEEE Transactions on Image Processing, 1994, 3(3):233.

[7] W. T. Freeman，E. C. Pasztor, O. T. Carmichael. Learning low-level vision[J]. International Journal of Computer Vision, 2000, 40:25-47.

[8] Chang. H, Yeung. D. Y and Y. Xiong. Super-resolution through neighbor embedding[C]. Conference on Computer Vision and Pattern Recognition, 2004, 1:275-282.

[9] J. Yang et al..Image super-resolution via sparse representation[J]. IEEE Trans. Image Process. 19(11), 861–2873(2010).

[10] 张垚，徐斌，周尚波，郑坚. 基于稀疏表示的自适应图像超分辨率重建算法[J].计算机应用与研究，2013，30（3）：938-941.

[11] Shenlong Wang, Lei Zhang, Yan Liang, Quan Pan. Semi-Coupled Dictionary Learning with Applications in Image[C]. In IEEE Proceedings of International Conference on Computer Vision and Pattern Recognition Conference on Computer Vision and Pattern Recognition, 2012:2226-2234.