论文浅尝|GRAPH-BERT: Only Attentionis Needed for Learning Graph Representations

论文简介 论文提出：当前图神经网络（GNN）的主要方法过度依赖图中的连接关系，这样造成了三大问题：（1）模型假死；（2）过度平滑；（3）难以并行计算 模型假死：随着神经网络层数的不断加深，模型对于输入的数据开始不进行相应。这个问题的具体原因没在论文里看到，个人理解是由于层之间的非线性变换使得数据分布变换置导数较小的区域，从而使得梯度消失。 过度平滑：由于图神经网络大多依靠聚合操作（mean，max

>>阅读原文<<