Deep Graph-Convolutional Image Denoising

GCONV模块

其中$H^{l}$表明第l层的特征,通过GCONV模块,获得下一层$H^{l+1}$的特征.

局部份量: 普通的3*3卷积核做为局部的接收域. (local receptive field)

创建Graph for Denoising:

以每一个像素为特征向量为中心, 展开一个搜索窗(search window),例如43*43, 而后对每一个像素,

计算其特征向量与搜索空间内像素特征空间之间的欧式距离,这里之间使用欧式距离是否太过简单了?,

以前咱们作过的特征空间的距离有使用 余弦类似度, 并在像素与距离最小的K个像素之间绘制图的边缘,

构成一个K正规(regular graph)图.

regular graph:在图论中，有一类图是比较特殊图，Regular Graph，且称为正规图吧，这类图有一个很好的性质，就是图中的每个Vertex，也就是每个点所接的边是同样的。

例如，立方体就是有四个点，每一个点有三条边（也称之为度）的Regular Graph，简称4k3

 

 

非局部份量：构成的K正规图中的所链接的非局部像素的特征向量则是经过边缘条件卷积(ECC)进行聚合(aggregate)的, 聚合函数以下:

$H_{i}^{l+1,NL} = \sum_{j \in S_{i}^{l}}\gamma^{l,j\rightarrow i} \frac{{F_{w^{l}}^{l}}(d^{l,j\rightarrow i})H_{j}^{l}}{|S_{i}^{l}|}$

　　　　$=  \sum_{j \in S_{i}^{l}}\gamma^{l,j\rightarrow i} \frac{\Theta^{l,j\rightarrow i}H_{j}^{l}}{|S_{i}^{l}|}$

 

 最后将非局部汇集估计获得的特征向量与局部卷积获得的特征向量相结合,获得以下输出特征:

$H_{i}^{l+1}=\frac{H_{i}^{l+1,NL}+H_{i}^{l+1, L }}{2}+ b^{l}$

结构综述

 

1. 具备一个全局的输入输出的结构, 就是残差学习, 旨在提供训练的收敛性

2. 使用GCN 实现动态的计算特征空间,主要包含:(i)建立一个非局部的感知野为每一个像素神经元(pixel-neuron).(ii)

像素根据空间距离(spatially distant) 和 特征空间的类似性(smilar in feature space ) 进行特征的 融合(merged),

3. 重要的模块: 对输入进行预处理. 即, 先使用经典的2D 卷积,做用:

(i) 这样产生的embedding 的感知野大于单个像素, 这样的操做使得图的结构更加的稳定, 不然将受到输入噪声的影响.

(ii) 而且是并行的结构,产生了多个尺度的embedding

(iii) 通过最后的图卷积层, 这些特征被concatenated.

4.剩下的部分就是一个 HPF block 和 一个 LPF 模块, 类比一个高通和低通 图滤波器(highpass and lowpass graph filter), 这些模块都有初始的3*3的 卷积层, 而后是三个图卷积层，它们共享从卷积层的输出构造的同一图.

5. LPF 具备残差结构 实现BP

6. 最后一层是图卷积层, 映射特征空间到 图像空间.