IMAGE DENOISING WITH GRAPH-CONVOLUTIONAL NEURAL NETWORKS

卷积神经网络的方法是数据驱动的方法(data-driven), 可以捕获高度的复杂图像先验(complex image prior), 可是卷积神经网络因为其结构的独特性(i.e., 局域链接,权值共享),并不可以捕获非局部的类似性, 因此为图像降噪特别设计了图卷积神经网络, 图卷积神经网络容许动态的在特征空间构建

邻居, 去探测类似的空间距离,实现潜在的相连在隐藏层.

非局部的自类似的方法 such as  BM3D WNNM 都是超级成功的. 抽取特征的局部属性是CNN的局限性.

图卷积神经网络被设计应用于不规则结构的数据,

做者提出的方法,不只依赖于空间相邻像素，并且依赖于空间距离像素的特征.

做者设计的是思路是为每一个像素选择最有意义的spatially-distant pixels,  在特征空间中选取, 这容许咱们的感知野可以动态的适应于图像的特征.

CNN 具备局域链接,权重共享的特色.

---

提出的方法

 

第一部分:

　　由一系列的并行分支组成(parallel branches),  进行多尺度的特征提取,并紧接着图卷积操做和concatenate操做, 同时使用了全局的残差操做,

实现了渐近的噪声移除, 每一个残差块的输入和输出加强了梯度的BP.

第二部分:

　　为结构的核心部分,如图所示.该层对经典的卷积层进行扩展，将空间相邻像素的隐层特征向量(由3*3的经典卷积实现)与特征空间中类似(最近邻)的空间距离像素(由构建的邻居节点图实现)的隐层特征向量进行聚合。

　　局部和非局部的经过平均的方式进行集成:

$H_{i}^{l+1}=\frac{H_{i}^{l+1,NL}+H_{i}^{l+1, L }}{2}+ b^{l}$

　　使用ECC进行非局部特征的aggregate.使用这个定义，图卷积运算在一个邻域上执行加权的聚合，其中用于聚合的权重依赖于图形的边缘标签(edge label)。

　　 将边缘标签(edge label)定义为两个节点特征之间的差别。

　　局部集成权重被定义为全链接网络$F^{l}: \mathbb{R^{d^{l}}} \rightarrow \mathbb{R^{d^{l} x d^{l}}} $, 这个全链接网络实现将边缘label做为输入.输出对应的权重矩阵

 

每一个节点i 构建的图,咱们可以定义卷积操做:

 

 

 其中$H_{i}^{l}$和$\textit{N}_{i}^{l}$分别对应着特征向量和在第l层的第i个节点的邻居节点. $w^{l}$是参数化网络$F^{l}$的权值, $W^{l} \in \mathbb{R^{d^{l} x d^{l}}}$ 是节点自身的线性变换, $\sigma$是非线性函数.

在预约义大小的搜索窗口内，根据当前像素的特征向量与当前像素的欧氏距离，选择非局部像素做为k近邻特征向量。 两个三层的残差块交换着相同的非局部图,  

---

 

主要的操做就是是函数$F$,  F的输入是二者的差(非局部的邻居节点和当前的像素节点), 输出汇集前用于转换非局部特征向量的权值矩阵。 

公式1 被称做卷积是由于 这个函数提供了有意义的权值共享, 在一个稳定的假设下:对于类似的输入差，输出权矩阵应该是类似的。其次，与经典卷积不一样的是，这个函数支持数据相关的聚合，由于权值直接依赖于特征向量之间的关系。

一些实验设置:

　　1.432张图片, 进行patch成 32*32 的大小;

　　2. 对于非局部图的选取, 使用欧式距离度量节点以前的隐藏特征向量,取前8个最近邻的邻居;不包括空间类似

　　3. The number of hidden features is 66 for all layers, except for the ones in the branches of the preprocessing block, for which is 22.