新浪博客

梯度引导的JPEG压缩图像超分辨率重建

2025-07-21 14:35阅读：

http://blog.sina.cn/dpool/blog/u/1304706164

引用本文

曹坪, 林树冉, 张淳杰, 郑晓龙, 赵耀. 梯度引导的JPEG压缩图像超分辨率重建. 自动化学报, 2025, 51(6): 1261−1276 doi: 10.16383/j.aas.c240517
Cao Ping, Lin Shu-Ran, Zhang Chun-Jie, Zheng Xiao-Long, Zhao Yao. Gradient-guided super-resolution reconstruction for JPEG-compressed images. Acta Automatica Sinica, 2025, 51(6): 1261−1276 doi: 10.16383/j.aas.c240517
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240517


关键词

JPEG压缩，超分辨率，图像重建，梯度先验

摘要

在真实场景中, 图像往往同时遭受低分辨率、压缩失真及噪声等多种退化因素影响. 现有方法通常聚焦于单一退化类型, 难以应对复杂的复合退化情况. 为解决真实场景中普遍存在的低分辨率与JPEG压缩伪影复合退化问题, 提出一种梯度引导的联合JPEG压缩伪影去除和超分辨率重建网络. 该网络以超分辨率分支为主导, 融合JPEG压缩伪影去除分支与梯度引导分支的非对称特征, 实现了高质量图像重建. JPEG压缩伪影去除分支专注于压缩伪影抑制, 缓解了主导分支的重建负担. 梯度引导分支则精准估计图像梯度, 引导主导分支恢复更多细节与纹理. 实验结果表明, 该方法提升了低分辨率JPEG压缩图像的重建质量.

文章导读

近年来, 数据驱动的深度学习研究取得重大进展[1−2], 逐渐在计算机视觉领域得到广泛应用. 然而, 受采集设备和采集环境的影响, 采集的图像分辨率较低, 难以满足实际应用的需要. 因此, 图像超分辨率(Super-resolution, SR)作为一项经典的底层视觉任务, 已经成为计算机视觉领域的研究热点[3−5], 被应用于人脸图像超分、医学影像超分、遥感图像超分、深度图超分、压缩图像超分、老照片修复等场景. 随着深度学习理论和卷积神经网络技术的不断发展, 基于深度学习的图像超分辨率方法[6−8]也不断突破瓶颈, 展现出令人印象深刻的恢复性能. 对于图像中的高频和低频信息, 现有的方法通常使用单个分支进行同时处理. 由于图像中的高频与低频信息具有不同的统计特性, 仅采用单一分支网络同时建模两类信息可能导致相互干扰, 进而对图像超分辨率重建性能产生不利影响. 因此, 有研究提出双分支结构的网络[9−10]来分别处理高频和低频信息, 提升了图像重建效果. 此外, 一些研究尝试在额外分支中引入图像内部先验信息[11−13], 如全变差先验、稀疏先验、梯度先验等, 以辅助图像超分辨率. 然而, 这类方法往往在不同分支中采用相似结构, 且不同分支之间的信息交互机制较为简单, 导致先验知识在网络中的潜力未能得到充分利用.

目前的超分辨率方法在构建高分辨率(High-resolution, HR)图像的退化模型时, 倾向于将其建模为一个简单的双三次下采样过程[14−16]. 事实上, 这种理想的退化模型在现实生活中并不多见. 在真实场景中, 图像的退化往往受到多种因素的交织影响, 包括但不限于光学模糊、运动模糊、噪声干扰以及压缩失真等. 因此, 有研究尝试针对多种退化构建统一的架构[17−19], 以同时处理多种退化类型, 如噪声、模糊、压缩伪影等. 然而, 这类研究通常假设每个输入图像仅包含一种单一退化类型, 忽略多种退化之间的潜在关系, 难以针对复合退化的特性进行深度建模和优化. 在复杂退化场景下, 现有方法的性能往往难以令人满意[20−23]. 特别地, 压缩失真作为一种日常生活中极为常见的退化形式, 显著影响了图像质量. 在社交媒体图片分享和网络视频传输等场景中, 由于存储空间和传输带宽的限制, 有损压缩(如JPEG压缩)与下采样已成为必不可少的环节. 如图1所示, 经过JPEG压缩与下采样退化的图像中不仅存在明显的块状伪影, 还伴随模糊和噪声. 严重退化的压缩图像对原始高分辨率图像中高频细节的重建带来巨大挑战, 现有方法在应对此类复杂退化时通常难以实现理想的重建效果.
梯度引导的JPEG压缩图像超分辨率重建
图 1 JPEG压缩图像示例

针对上述问题, 本文提出一种梯度引导的联合JPEG压缩伪影去除和超分辨率网络(Joint JPEG compression artifact removal and super-resolution network, JCARSR). 该网络尝试引入多个分支来分担主导网络的学习压力, 以降低复合退化任务的学习难度. 具体来说, JCARSR的主导分支是基于多尺度无非线性激活模块的超分辨率分支, 负责去除JPEG压缩伪影并重建高分辨率图像, 从而实现对复合退化任务的精确求解. 而作为辅助的JPEG 压缩伪影去除分支, 在保持与超分辨率主导分支相似网络结构的基础上, 采用更轻量化的设计, 以促进两分支间的信息交互. 该分支致力于去除低分辨率图像中的压缩伪影, 并通过动态反馈中间层特征为超分辨率分支提供富有参考意义的优化导向. 此外, 考虑到这种严重退化的图像中边缘纹理部分所遭受到的破坏更加显著, 本文引入基于多尺度交叉卷积模块的梯度引导分支, 为超分辨率分支提供不同尺度和不同方向的边缘信息引导. 为模拟真实退化过程, 本文对图像超分辨率领域现有数据集施加低分辨率(Low-resolution, LR)和JPEG压缩退化, 合成用于训练和测试的数据集. 实验结果表明, 相比现有的组合式两阶段方法和经典超分辨率方法, 本文提出的JCARSR在简化图像处理流程的同时, 进一步取得更优的恢复性能.

本文的组织结构如下: 第1节简要回顾图像超分辨率算法和JPEG压缩伪影去除算法; 第2节具体介绍JCARSR的整体框架; 第3节详细给出对比实验及分析结果; 第4节总结全文.
梯度引导的JPEG压缩图像超分辨率重建
图 2 JCARSR的网络结构

我的更多文章

下载客户端阅读体验更佳

APP专享