Deblurring by Realistic Blurring论文解读¶

【GiantPandaCV导语】本文主要对2020年CVPR中由澳大利亚国立大学和腾讯AI Lab联合发表的Deblurring by Realistic Blurring论文进行解读，从研究背景、网络结构、损失函数、实验结果方面对其进行简要介绍。

引言¶

图像去模糊方法主要包含盲去模糊(blind deblurring)和非盲去模糊(non-blind deblurring)，区别在于模糊核是否已知。传统的图像去模糊算法利用了多种先验，如：全变差(total variation)、重尾梯度先验(heavy-tailed gradient prior)等。近期随着深度学习技术的迅猛发展，也提出了基于CNN、基于GAN和基于RNN的用于图像去模糊的方法，比较著名的如DeblurGAN和DeblurGAN-v2等，而这些方法都专注于从模糊图像中恢复清晰图像本身，而忽略了图像模糊这个源头，因此并没有对图像模糊过程进行建模；同时由于数据集的稀缺，很多方法都采用了数据增强的方式来增加数据样本，但是大多数情况下合成的模糊图像与真实图像相差甚远。因此这篇文章从图像模糊过程本身和合成图像真实性出发，提出了一种全新的GAN网络，包含learning-to-Blur GAN(BGAN)和learning-to-DeBlur GAN(DBGAN)两个子网络，其中BGAN的作用是学习图像模糊过程本身以及生成更符合自然模糊图像的合成图像，用于DBGAN训练；DBGAN的作用是进行去模糊操作，从模糊图像中恢复清晰图像。

网络简介¶

网络结构¶

如下图所示，BGAN的生成器和DBGAN的生成器网络结构非常类似，BGAN的生成器包含3个独立的卷积层，以及9个ResBlock，每个ResBlock包含5个3x3的卷积层以及4个ReLU激活层，DBGAN的生成器同样包含3个独立的卷积层，但是ResBlock的个数为16个。BGAN和DBGAN的鉴别器都采用的VGG-19网络。

BAGN和DBGAN网络结构

受到SinGAN工作的启发，本文中也采用了同样的工作原理，在BGAN的生成器中随机添加噪声；首先从正态分布中采样长度为4的向量，再将其在空间维度重复128x128次得到4x128x128的噪声图，将其与公开数据集中获得的清晰图像一起作为BGAN生成器的输入，最终得到的输出结果为逼真的合成模糊图像。为了更好的满足GAN网络的训练，文中还收集了额外的真实世界模糊图像数据集用以BGAN鉴别器训练，以得到更加真实的合成图像。 DBGAN的输入为BGAN生成的模糊图像，其目的是为了从模糊图像中恢复得到清晰的图像，因此DBGAN的输出即为清晰图像。

损失函数¶

BGAN网络的损失函数包含Perceptual loss和Adversarial loss两部分，其中Perceptual loss针对输入的清晰图像和合成的模糊图像，Adversarial loss针对合成的模糊图像和新搜集的真实世界模糊图像，BGAN的目的就是模拟真实模糊图像的模糊过程，以得到逼真的合成模糊图像。 DBGAN网络的损失函数包含Perceptual loss、Content loss和Adversarial loss三部分，在BGAN的基础上增加了MSE loss作为Content loss，DBGAN的目的是从输入的模糊图像中恢复出清晰图像。两个网络的Adversarial loss与以往的GAN对抗损失有所区别，文章中提出了一种新的对抗损失：Relativistic Blur Loss(RBL/RDBL). 传统的对抗损失的目的是训练鉴别器区别真假的能力，反过来使得生成器能够生成更加”真“的图像，也就是将原来标记为”0“的生成图像训练的更加像真实世界图像，促使其标记值趋近于”1“；如下公式所示：

传统对抗损失函数