基于注意力机制的压缩视频修复与画质增强方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113852813A(43)申请公布日2021.12.28(21)申请号202111114535.8(22)申请日2021.09.23(71)申请人福州大学地址350108福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学(72)发明人赵铁松江楠峰陈炜玲林丽群房颖胡锦松(74)专利代理机构福州元创专利商标代理有限公司35100代理人丘鸿超蔡学俊(51)Int.Cl.H04N19/117(2014.01)H04N19/80(2014.01)H04N19/85(2014.01)G06K9/62(2006.01)权利要求书2页说明书4页附图2页(54)发明名称基于注意力机制的压缩视频修复与画质增强方法及系统(57)摘要本发明提出一种基于注意力机制的压缩视频修复与画质增强方法及系统，首先，采用动态滤波处理，对视频的当前帧和目标帧在特征域上进行对齐，进而有效的利用视频帧间的时空关系；其次，为了避免过度平滑，利用注意力机制设计序列残差注意力模块(SRAB)作为网络的基本单元，对视频帧的细节进行修正；最后，利用训练模型预测出的结果与原始未压缩的视频帧进行对比，判断任务中目标的完成情况。本发明方法较采用其他视频增强算法相比本发明在视觉性能上表现最好，并且处理速度较快，优势明显。CN113852813ACN113852813A权利要求书1/2页1.一种基于注意力机制的压缩视频修复与画质增强方法，其特征在于，包括以下步骤：采用动态滤波处理，对视频的当前帧和目标帧在特征域上进行对齐，以利用视频帧间的时空关系；采用注意力机制，对视频帧的细节进行修正，以避免视频帧出现过度平滑。2.根据权利要求1所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：所述动态滤波处理具体包括以下步骤：步骤S11：在网络中生成帧间对齐滤波器和去压缩效应滤波器；步骤S12：基于步骤S11生成的滤波器，采用动态滤波处理并通过特征转换层FTL进行帧特征对齐与压缩效应消除；在所述特征转换层FTL中，过滤操作不作为平移不变量，不同的滤波器被应用到输入I的不同位置上；对于输入特征的每个不同位置，一个特定的局部滤波器F被应用到以I为中心的区域；步骤S13：融合帧对齐特征和去压缩效应特征生成清晰的图像。3.根据权利要求2所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：在所述注意力机制中，采用序列残差注意力模块SRAB代替卷积层作为网络结构基本单元，所述序列残差注意力模块SRAB由通道注意力模块CA和空间注意力模块SA组成；所述通道注意力模块CA用于学习每个通道上压缩效应的主要部分；所述空间注意力模块SA通过生成空间注意图学习图像的空间细节；融合CA和SA所学习的特征作为SRAB的最终输出。4.根据权利要求1所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：采用均方根损失MSE和感知损失PerceptualLoss作为模型的训练损失，对模型训练过程进行实时评价，实时保存训练模型和数据。5.根据权利要求4所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：采用有参考的性能评价指标PSNR，SSIM和LPIPS，无参考的性能评价指标RISQUE,NIQE和PIQE对任务完成情况进行评价。6.根据权利要求5所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：根据运行时间对网络模型处理速度进行评价。7.一种基于注意力机制的压缩视频修复与画质增强系统，其特征在于，包括：动态滤波处理模块和注意力机制模块；所述动态滤波处理模块通过特征转换层FTL进行帧特征对齐和压缩效应消除；所述注意力机制模块采用序列残差注意力模块SRAB代替卷积层作为网络结构基本单元，所述序列残差注意力模块SRAB由通道注意力模块CA和空间注意力模块SA组成。8.根据权利要求7所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：采用均方根损失MSE和感知损失PerceptualLoss作为模型的训练损失，对模型训练过程进行实时评价。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1‑6其中任一所述的基于注意力机制的压缩视频修复与画质增强方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机2CN113852813A权利要求书2/2页程序被处理器执行时实现如权利要求1‑6其中任一所述的基于注意力机制的压缩视频修复与画质增强方法的步骤。3CN113852813A说明书1/4页基于注意力机制的压缩视频修复与画质增强方法及系统技术领域[0001]本发明属于底层视觉多媒体交互技术领域，