基于多方向特征预测先验的单幅图像超分辨率重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109214989A(43)申请公布日2019.01.15(21)申请号201811023219.8(22)申请日2018.09.04(71)申请人四川大学地址610065四川省成都市武侯区一环路南一段24号(72)发明人任超何小海吴晓红滕奇志卿粼波刘屹霄(51)Int.Cl.G06T3/40(2006.01)G06T5/00(2006.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书7页附图3页(54)发明名称基于多方向特征预测先验的单幅图像超分辨率重建方法(57)摘要本发明公开了一种基于多方向特征预测先验的单幅图像超分辨率重建方法。主要包括以下步骤：构建特征预测深度卷积神经网络；针对四个方向特征，分别训练构建的网络；利用训练好的网络模型对输入的低分辨率图像进行多方向特征预测；利用上一步骤预测的四类方向特征，构建多方向特征预测先验；构建基于深度卷积神经网络特征预测与降质约束的超分辨率重建代价函数；利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。本发明所述的单幅图像超分辨率重建方法，能够获得很好的主客观效果，且抗噪声性能良好。因此，本发明是一种高性能的单幅图像超分辨率重建方法，在航空航天、交通监控、医学成像、影视娱乐等领域有着极高的应用潜力。CN109214989ACN109214989A权利要求书1/2页1.基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于包括以下步骤：步骤一：针对输入的低分辨率图像，构建特征预测网络，用于预测未知的高分辨率特征；步骤二：针对每一个方向特征，利用训练图像数据集，训练步骤一中构建的深度卷积神经网络，总共训练四类方向特征；步骤三：利用步骤二中训练好的深度卷积神经网络模型对输入的低分辨率图像进行多方向特征预测，得到预测的四类方向特征；步骤四：利用步骤三预测的四类方向特征，构建多方向特征预测先验；步骤五：融合进入降质约束，构建基于深度卷积神经网络与降质约束的超分辨率重建代价函数；步骤六：利用TFOCS技术来最优化重建代价函数，得到高辨率图像估计。2.根据权利要求1所述的基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于步骤一所述的特征预测网络：不同于传统的基于深度学习的超分辨率方法直接训练单个网络来将低分辨率图像映射到高分辨率图像，本发明构建的特征预测深度卷积神经网络能预测输入图像的多个高分辨率方向特征，进而应用于图像超分辨率环节；并且，该模型中使用了提出的预激活残差块，该残差块是由两个卷积层和两个个激励层(ReLU)组成，且ReLU位于卷积层的前面，理论分析表明该残差模块能够避免特征预测网络的梯度消失的问题。3.根据权利要求1所述的基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于步骤二所述的训练四类方向特征预测网络：首先对训练图像数据集进行降质，然后将降质图像数据集与原始图像数据集采用相同的梯度滤波核进行方向特征提取，构建高低分辨率的训练图像对；本发明提取0度，45度，90度，135度四个方向的梯度特征，对应梯度滤波核为：f1＝[000；-110；000]，f2＝[-100；010；000]f3＝[0-10；010；000]，f4＝[00-1；010；000]此后，利用每一个方向特征对应的训练集，采用最小化二范数损失函数(均方误差)来分别更新本发明步骤一中所构建的卷积神经网络的参数，最终得到四个方向特征预测网络。4.根据权利要求1所述的基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于步骤三与步骤四所述的多方向特征预测先验的构建：利用步骤二中训练好的四个深度卷积神经网络模型对经输入的低分辨率图像进行四个方向的特征预测，其中第k个方向的特征预测具体公式如下：其中Y为低分辨率输入图像，Y↑为双三次插值上采样结果，Ek(·)为梯度特征提取函数，T(x)＝x/510+0.5为值域变换函数，表示全局残差函数，为第k个方向特征对应的可训练的参数集，为预测的第k个方向特征；2CN109214989A权利要求书2/2页通过上述公式预测的四方向特征本发明构建多方向特征预测先验，对图像边缘进行充分约束，对应具体公式如下：其中X为高分辨率图像。5.根据权利要求1所述的基于多方向特征预测先验的单幅图像超分辨率重建方法，其特征在于步骤五与步骤六所述的基于深度卷积神经网络与降质约束的超分辨率重建代价函数的构建与求解：传统的基于深度学习的超分辨率方法很大程度上忽略了图像的降质约束，本发明通过最大后验框架，将深度学习与图像降质约束进行了联合，得到了很好的超分辨率效果；构建的基于深度卷积神经网络特征预测与降质约束的超分辨率重建代价函数如下：其中H为模糊矩阵