图卷积神经网络 GCN 沈华伟（1 谱方法）

视频链接：2020 CCF 沈华伟 GNN

   

   

1.概述

卷积神经网络的成功的缘由：可以学习到数据中局部信息，经过局部化卷积核，其实是一种参数共享的方式。

而后经过逐层堆叠的方式，把局部的卷积核变成多尺度的层次模式。从而实现特征学习的一个效果。

1.1 局部卷积核：

平移不变性，能够获得与位置无关的一些pattern

   

   

2.卷积的迁移

   

2.1难点

怎么将欧氏空间的卷积转移到非欧氏空间（non-Euclidean domain）中，好比说graph，其结构是非规则的难以定义卷积。

   

图像与网络：

咱们能够想象为一个规则的网络，像素表明一个节点，其卷积核能够简单的定义。可是真实世界中的网络，要远比上述网络复杂。

   

真实网络节点的度分布差别很是大，有相似核心节点（微博大V），也有相似边缘节点，不像图像抽象出的网络只有上下左右存在度。

每一个节点的邻居数不一样，因此很难定义知足平移不变性的卷积核。这是图上定义卷积的很大的一个难点。

   

2.2 网络卷积的运用

CNN迁移到图上定义图上，整体来讲仍是这两点：

如何定义图上的卷积；定义图上的pooling（下采样这样的操做），可是pooling和具体的任务相关，若是和节点相关，也就不须要下采样。

2.2.1 卷积：

两个函数点积以后，作积分，生成第三个函数

   

信号处理中，g即一个方波；f即为是个信号，横轴为时间。

   

离散状况下，如图像中，卷积核即为一个patch，在图像的像素上滑动，抽取局部的信号。

举例：掷骰子，两次骰子，和为8的几率是多少？（2+6；3+5；4+4；5+3；6+2五种状况的几率之和）

   

2.2.2 图上卷积：

定义有两种方法，

一种是空间方法，可是网络中每一个节点的邻域大小多少不一致，很难有进展；

另外一种是谱方法，将原来的图 从节点域里变化到谱域里（利用卷积定理和傅里叶变换实现），在谱域里再定义卷积核。面临的挑战：其卷积再也不局部化，会带来网络特征较大范围的改变。

   

2.2.3 谱方法：

输入图G，W为其带权重的邻接矩阵。每一个节点还有一个d维的特征，则n个节点造成特征矩阵X:Shape(n, d)，每个维度都理解成定义在这n个节点的一个信号，相似于图像中RGB三维特征。

这里能够看出，图的处理，本质上也与信号处理过程相似。

图拉普拉斯（Graph Laplacian）：

参考信号处理的方式，咱们有图拉普拉斯（Graph Laplacian）方式进行处理：实际上对信号求导数操做，得到信号在图上的平滑程度，称之为拉普拉斯算子

   

   

（1）拉普拉斯矩阵：

拉普拉斯矩阵式带权度矩阵与带权邻接矩阵之差。度矩阵是一个对角阵，每一行的元素维邻接矩阵该行之和。

可是咱们经常使用其normalized版本，数学性质更好。I是单位矩阵。

经过拉普拉斯矩阵便可实现将信号转移到谱域中去。

（2）图傅里叶变换

参考链接：一、2、3

上面咱们说到，图上的信号通常表达为一个向量。假设有n个节点。在这一节，咱们将图上的信号记为：

每个节点上有一个信号值。相似于图像上的像素值。

傅里叶反变换的本质，是把任意一个函数表示成了若干个正交基函数的线性组合。

图上的信号若是要进行傅里叶变换，咱们也须要找到一组正交基，来表达x。

任意的图上的信号能够表示为：

因此，图上的傅里叶变换，其实是求一个表示的参数（权重），最终咱们取这个表示的参数（权重），来替代这组信号，就是在谱域里面的表达。

（3）在谱域上定义卷积：

图上的傅里叶变换只是一个手段，定义卷积利用的是卷积定理

卷积定理是傅立叶变换知足的一个重要性质。卷积定理指出，两个函数的卷积的傅立叶变换是两个函数分别傅立叶变换后的乘积。（百度百科）

所以可得：

两个信号，一个x一个y，

• 分别作傅里叶变换后，取其权重，获得两信号在谱域上的表示，进行点积操做；
• 而后进行傅里叶逆变换，就能够获得在节点域的卷积操做。

因此，咱们将U^Ty做为卷积核，与信号x进行点积操做，再进行逆变换。

   

总结：

• 把信号x变换到谱域中（这一步须要傅里叶变换），
• 在谱域中，定义一个卷积核（设初始值，反向传播进行调整），与信号x在谱域中的表达作点积。
• 最后进行逆变换，把谱域中的卷积转换到空间域或者说节点域中

   

   

这是CNN做者的原始方法，谱方法可是存在缺陷（挑战）

• 依赖 拉普拉斯矩阵的特征分解，时间复杂度高，O(n³)，且特征向量是稠密的计算代价过高，
• n*n的拉普拉斯矩阵求特征向量复杂度是O(n²)
• 在节点域上不是局部化的，

   

   

3.缺陷改进

3.1ChebyNet：参数化卷积核；

这里使用了拉普拉斯矩阵的特征值，改造卷积核。

原来的卷积核是反向传播算法获得的，这里将它改造，写成一个由固定对角阵造成的多项式，这个对角阵，就是拉普拉斯矩阵的特征值造成的对角阵。通过简化变换，能够发现卷积操做只剩拉普拉斯矩阵和输入信号。β为参数，实际上一般K很小 0-9 六度分割。

三个好处：

不须要特征分解了，时间复杂度下降到O(K|E|)，卷积操做变为局部化的操做。

   

3.2 继续改进：Graph Wavelet Neural Network

ICLR2019,图小波神经网络:paper

chebNet的主要工做：

把原来自由的卷积核，用多项式函数作参数化，实现了图卷积核取值空间的约束，进而再也不依赖逆傅里叶变换，也实现了局部化。

做者更改傅里叶基为小波基

   

   

可是这样操做，时间复杂度较高O(n*p*q)