《Diffusion-ConvolutionalNeuralNetworks》论文阅读

DCNN

主要思想：

1. 这是一篇基于空间域的图神经网络，聚合方式经过采样（hop）1~k 阶的邻居并同 self 使用 mean 的方式获得新的 feature-vector
2. 做者将不一样的采样距离并聚合的特征堆叠成一个矩阵，这个矩阵才是最终一个 node(or graph/edge) 的 feature-representation

过程图示1

下图展现过程应该更清晰：

上图就是须要输入的图结构以及节点的特征

对 \(v_{3}\)节点 进行一阶邻居【\((d(3,.)=1)\)】信息聚合，并同本身进行求 mean ，其中 \(w_3^{0}\) 就是对应的一阶的训练的 parameters。相似的，还须要处理其余的剩余节点。
经过对5个节点分别进行处理，即通过一层 hidden-layer，输出结果为

相似的，hop 二阶。是在原图的基础上，而不是在已经通过一层的基础上处理

同理将距离变成二阶，就能同样聚合到二阶邻居信息。获得二阶，三阶... k阶

其中的矩阵就是对同一个node的一阶二阶...信息（文中称为diffusion）
若是须要作一个节点分类，则将该矩阵拿出来，再同 \(w\) 进行 element-wise(or 全链接？) 便可，获得预测的分类

过程图示2

论文内容

以上过程应该蛮好理解的，但是论文其实能够写的更明白，但是参数和图示写的不怎么明白

• 有图 \(\mathcal{G}=\{G_t | t \in 1...T\}\)，其中 t 表示graph个数，由于论文也适用于graph-classification
• \(\mathcal{G_t}=(V_t, E_t)\) ，也用 \(\mathcal{X_t}\) 表示
• graph中 \(N_t\) 个节点，每一个节点特征维数 \(F\)
• \(P_t\) 为归一化的度矩阵，维数\(N_t*N_t\)，能够理解成几率，或者 mean

其中graph能够是 带/不带 权重，有/无向图
PS 做者提出该DCNN 可适用于 node/graph/edge-classification，可是实验却只在node上表现还能够，graph上不行，edge甚至没作

我只以node-classification为例
经过一次计算的公式：

• t 表示某一个graph
• i 表示节点序号
• j 表示第几阶（hop）
• k 表示计算节点的某个维数

经过矩阵表示则：

最后的分类，可适用argmax或者softmax（我的以为能够全链接 或者 element-wise）

实验结果和缺点

在node-classification上尚可，edge的实验却没作。实验在graph-classification上表现极差——由于我看做者经过将全部节点求和并平均了一下来表示graph-feature，着就让我想到了GNN上限的一篇论文，即sum的操做是优于mean的【固然对graph-classification了解很少，我的臆想】，mean反而更不容易区分开不一样的graph了

这点没看懂，可能须要看更多论文来理解（ε=ε=ε=┏(゜ロ゜;)┛

杂谈

GNN论文看的也不是不少，可是有个奇怪的想法，就是利用edge进行aggregate就算是利用了graph的structural-info 了吗？

参考文献

【1】https://zhuanlan.zhihu.com/p/76669259

【2】https://media.nips.cc/nipsbooks/nipspapers/paper_files/nips29/reviews/1073.html

【3】https://www.youtube.com/watch?v=5eTJ6yxtU5s

【4】https://www.youtube.com/watch?v=eybCCtNKwzA