论文解读《Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernel》

Posted 2021-03-26 chenke-cheng

Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels：

一旦退化模型被定义，下一步就是使用公式表示能量函数(energy function，也可以称为目标函数).通过MAP(Maximum A Posterriori) probability， 能量函数能够被给出：

$min_{x}frac{1}{2sigma^{2}}|| extbf{y} - (xdownarrow_{s})otimes extbf{k}||^{2} + lambda Phi(x)$

其中$frac{1}{2sigma^{2}}|| extbf{y} - (xdownarrow_{s})otimes extbf{k}||^{2}$ 是数据保真项或似然项，它由退化函数决定，$Phi(x)$是一个正则化项或先验项，其中$lambda$是正则化系数；

对于判别学习方法(discriminative learning method) ,前向传播模型恰恰对应了一个能量函数，退化模型被训练成对的高分辨率和低分辨率的图像对隐式的定义。这解释了为什么现在DNN-based SISR方法训练在双三次退化对于真实图像表现很差。 

为了求出上面的式子，我们首先采用变量分割技术引入一个辅助变量$ extbf{z}$,得到下式这个相等的优化公式：

$hat{x} = argmin_{x} frac{1}{2sigma^{2}}|| extbf{y} - extbf{z} otimes extbf{k}||^{2} + lambda Phi(x)$

                                                                                                  $subject to extbf{z} = extbf{x}downarrow_{s}$

我们处理上式使用半二次分割(half quadratic splitting, HQS)算法，注意其他算法比如ADMM也能够被使用。

一般的，HQS最小化这个涉及一个增加的半二次惩罚项问题，来处理上式。目标函数写为：

$L_{mu}( extbf{x}, extbf{z}) = frac{1}{2sigma^{2}}|| extbf{y} - extbf{z} otimes extbf{k}||^{2} + lambda Phi(x) + frac{mu}{2}|| extbf{z} - extbf{x}downarrow_{s}||^{2} $

其中 $mu$ 是一个惩罚参数，一个非常大的$mu$会强迫$ extbf{z}$近似相等于$ extbf{x}downarrow_{s}$，通常，$mu$在接下来的迭代求解过程中以非下降阶(non-descending order)的形式变化。

$z$和$x$ 可以看作是一个交替最小化问题，使用下面两个公式表示:

$ extbf{z}_{k+1} =$ argmin$_{ extbf{z}}||y - extbf{z} otimes extbf{k}||^{2} + musigma^{2}|| extbf{z} - extbf{x}_{k}downarrow_{s}||^{2}$(7)

$ extbf{x}_{k+1}$ = argmin$_{ extbf{x}} frac{mu}{2}|| extbf{z}_{k+1} - extbf{x}downarrow_{s} ||^{2} + lambda Phi(x)$

特别地，通过假设卷积是在圆形边界条件下进行的，Eqn(7)具有快速闭合形式的解法:

$ extbf{z}_{k+1} = extit{F}^{-1} (frac{ar{ extit{F}( extbf{k})} extit{F}( extbf{y}) + musigma^{2} extit{F}(x_{k}downarrow_{s})}{ar{ extit{F}( extbf{k})} extit{F}( extbf{k}) + mu sigma^{2}})$

---

Learning Deep CNN Denoiser Prior for Image Restoration：

Method：

--可以帮助噪声先验(denoiser prior),which作为基于模型的最优化方法的其中一个模块来解决这些逆问题(e.g., deblurring).

--噪声先验通过判别式学习方法(discriminative learning method)获得;

So, 结合上面两点，==》通过CNN训练一个噪声器，加入到基于模型的最优化方法来解决其他的逆问题;

在变量分离技术的帮助下，我们可以同时使用两种方法的各自优点;

 

变量分割技术(variable spitting techniques):

变量分离技术(variable splitting technique)，如ADMM(alternating direction method of multipliers )，HQS(half quadratic splitting)方法，使得可以分别处理保真项(fidelity term)和正则项(regularization term)，其中正则项仅对应于去噪的子问题。因此，可以在基于模型的优化方法中使用discriminative denoisers,本文的目标在于训练一系列快速高效的discriminative denoisers，并把它们用于基于模型优化的方法中，解决求逆问题。不使用MAP相关方法，而是使用CNN学习denoisers。

(也可以理解为基于模型的方法一般需要反复迭代去解这个公式，而基于判别学习的方法则通过损失函数去学习先验参数。这里可以将两者进行结合，正则项可以对应于一个去噪的子问题，这个子问题可以通过判别式学习的去噪器去获得，从而带来图像先验，使得基于模型的方法可以快速工作)

贡献：

-训练出一系列CNN denoisers。使用变量分离技术，强大的denoisers可以为基于模型的优化方法带来图像先验。

-学习到的CNN denoisers被作为一个模块部分插入基于模型的优化方法中，解决其他的求逆问题。

 半二次方分裂 Half Quadratic Splitting (HQS)

$hat{x}=left. arg ext{ }min ight|_{x} frac{1}{2}|| y-H x||^{2}+lambda Phi(x) ext{ } ext{ } ext{ } ext{ } ext{ } ext{ }(2)$

 引入辅助变量$z, z = x$,HQS尝试最小化下面的成本函数:

$L_{mu}(x,z)=frac{1}{2}|| y-H x||^{2}+lambdaPhi(z)+frac{mu}{2}||z-x||^{2} ext{ } ext{ } ext{ } ext{ } ext{ } ext{ }(5)$

$mu$ 惩罚参数，在接下来的迭代求解过程中以非下降阶(non-descending order)的形式变化;

等式(5)可以被下面两个迭代的式子所解决：变量分割技术，

$x_{k+1}=left. arg ext{ }min ight|_{x}|| y-H x||^{2}+mu||x-z_k||^{2} ext{ } ext{ } ext{ } ext{ } ext{ } ext{ }(6a)$

$z_{k+1}=left. arg ext{ } min ight|_{z}frac{mu}{2} ||z-x_{k+1}||+lambdaPhi(z) ext{ } ext{ } ext{ } ext{ } ext{ } ext{ } ext{ } ext{ } ext{ } ext{ } ext{ }(6b)$ 

可以看到保真项与正则化项被分开到两个子问题中

等式(6a)保真项在二次正则化最小二乘问题，有很多针对不同的退化矩阵的快速解法,最简单的解法是

 $x_{k+1}=(H^{T}H+mu I)^{-1}(H^{T}y+mu z_{k}) ext{ } ext{ } ext{ } ext{ } ext{ } ext{ }(7)$

正则化项涉及在6(a)中，可以重写为(8)

 $z_{k+1}=left. arg ext{ } min ight|_{z} frac{1}{2(sqrt{lambda / mu})^2} ||x_{k+1}-z||^2+Phi(z) ext{ } ext{ } ext{ } ext{ } ext{ } ext{ }(8)$

通过贝叶斯概率公式，等式(8)可以看做是对应于一个去噪任务，噪声水平为$sqrt{lambda / mu}$，所以可以通过去噪器实现求出$z_{k+1}$.

以噪声水平$sqrt{lambda / mu}$高斯去噪器的去噪图像$x_{k+1}$.去噪器可以作为(2)的模块，为了强调这个，重写(8)

$z_{k+1}=Denoiser(x_{k+1},sqrt{lambda / mu}) ext{ } ext{ } ext{ } ext{ } ext{ } ext{ }(9)$

值得注意的是图像先验$Phi$可以间接被去噪先验替代，这种解法有一些优点：

-- 他允许使用各种灰度和彩色降噪器去解决各种inverse 问题；

-- 求解Eqn2时，显式图像先验$Phi(cdot)$是未知的;

-- 利用多个互补(complementary)的去噪器，利用不同的图像先验，可以共同解决一个特定的问题;