| 题名 | 面向真实场景的图像超分辨率研究及应用 |
| 作者 | 杨琦瑞 |
| 答辩日期 | 2021-05-21 |
| 授予单位 | 中国科学院沈阳自动化研究所 |
| 授予地点 | 沈阳 |
| 导师 | 库涛 |
| 关键词 | 卷积神经网络 生成对抗网络 图像超分辨率 感知损失 图像质量评价 |
| 学位名称 | 专业学位硕士 |
| 其他题名 | Research and Application of Image Super Resolution Oriented to Real Scenes |
| 学位专业 | 控制工程 |
| 英文摘要 | 随着科学技术日新月异的发展，视觉智能受到广泛的关注。尤其随着人们对图像、视频等信息需求的不断增加，人们对图像质量的要求也越来越高。同时随着深度学习的不断发展，单图像超分辨率（Single Image Super-resolution，SISR）应用取得了重要突破。超分辨率重建是一个典型的低层级计算机视觉任务，是利用低分辨率图像（Low-Resolution，LR）重建出相应的高分辨率图像（High-Resolution，HR）的计算机视觉任务。超分辨率重建应用极其广泛，在军工、公共安全的监控设备、卫星遥感、医学影响识别、工业相机等领域有着重要的应用价值。基于以往的一些研究，我们观察到现有的基于客观评价驱动的方法（以PSNR，SSIM为评价指标）和基于感知质量驱动的方法（以NIQE，LPIPS为评价指标）很难在重建图像的准确性和真实性之间取得平衡。这是由于基于客观评价驱动的方法其旨在最小化高分辨率图像和超分图像之间的差距，这些方法往往会产生视觉效果不佳且纹理过于平滑的结果。然而，过于平滑的图像缺乏精细的高频纹理，视觉效果模糊。另一方面，基于感知驱动的方法，通过引入生成对抗网络（Generative Adversarial Network，GAN），使得超分图像具有更加逼真的纹理。因此基于感知质量驱动的方法将超分辨率研究的重点从优化失真度量转移到了改善视觉质量上。尽管基于感知质量驱动的方法可以产生视觉上令人愉悦的图像，但是在许多实验中发现，基于感知质量驱动的方法生成的超分图像中存在大量虚假细节和错误纹理，这违反了超分辨率的初衷。由于GAN产生的高频伪像的出现，基于感知质量驱动的方法并不适合对重建图像的准确性有严格要求的医疗或监控设备领域等场景的应用。本文的目的是结合以上两种方法的特点和优点，专注于提高感知超分辨率的视觉质量的同时抑制和减少GAN产生的虚假细节，从而使超分辨的结果在纹理和细节上更加准确，更适应于真实场景的应用。我们提出的双分支交叉生成对抗网络的主要贡献如下：1、针对重建图像的准确性和真实性之间的矛盾，本文首先将输入的低分辨率图像分解为低频和高频分量。在低频分支中，我们采用L1损失对模型进行优化，L1损失控制网络恢复原始图像的低频信息，以确保所生成图像的大部分信息都是准确的。同时，高频分支在重建误差的约束下，利用L1损失和对抗性损失、感知损失来产生逼真且准确的高频纹理。这两个分支旨在提取不同的特征并在各自的频域中恢复不同的图像信息，以达到其优化目标。2、为了鼓励分支之间的特征重用并促进分支之间更好的信息流动，我们让两个分支提取的特征相互交互，共享低频特征和高频特征。这使整个网络看起来像纵横交错的人行道，因此我们将其称为双分支交叉网络（Two-branch Crisscross Network，TBCNet）。3、利用原始LR图像的所有分层功能，我们构造了残差密集注意力块（Residual Dense Attention Block ，RDAB）作为基本构建模块，该模块在局部和全局残差跳跃连接中将密集连接和通道注意机制结合在一起。残差跳跃结构将简化对深层网络的训练；紧密的连接可以极大地改善信息流和梯度，并减少对冗余特征的学习。通道注意机制可以通过关注更有用的特征和抑制不必要的特征来改善网络的表示。4、本文将从输入分量的影响、网络结构的影响、损失函数使用、损失函数权重等来分析模型的性能。我们将使用Set5，Set14，BSD100，Urban100，Building100五个数据集从图像客观评价指标（即PSNR和SSIM角度）和图像视觉感知评价指标（即LPIPS和NIQE）对模型性能进行评估并与最先进的图像超分辨率算法进行比较。本文提出的模型在图像的准确性和真实性平衡上取得重要突破，在多个数据集上都取得了极其优异的效果。 |
| 语种 | 中文 |
| 产权排序 | 1 |
| 页码 | 76页 |
| 内容类型 | 学位论文 |
| 源URL | [http://ir.sia.cn/handle/173321/28987]  |
| 专题 | 沈阳自动化研究所_数字工厂研究室 |
| 作者单位 | 中国科学院沈阳自动化研究所 |
| 推荐引用方式 GB/T 7714 | 杨琦瑞. 面向真实场景的图像超分辨率研究及应用[D]. 沈阳. 中国科学院沈阳自动化研究所. 2021. |
| 个性服务 |
| 查看访问统计 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论