Every Document Owns Its Structure: Inductive Text Classification via Graph Neur

做者

Yufeng Zhang1∗, Xueli Yu 1∗, Zeyu Cui, Shu Wu, Zhongzhen Wen and Liang Wang

概述

图神经网络（GNN）最近被应用于文本分类。然而现有的模型既不能捕捉到每一个文档中的上下文关系，也不能很好地完成新词的概括学习。在这项工做中，做者为每一个文档构建单独的图，经过TextING对文本进行概括学习。做者在四个基准数据集上作了大量实验，实验代表此方法优于最早进的文本分类方法。

动机

文本分类为其余NLP任务提供了基本的方法，如情感分析、意图检测等。传统的文本分类方法有朴素贝叶斯、k近邻和支持向量机。然而，它们主要依赖于人工制做的特征，以牺牲劳动力和效率为代价。

针对这一问题，提出了多种深度学习方法，其中递归神经网络（RNN）和卷积神经网络（CNN）是最基本的方法。然而，它们都集中在词的局部性上，于是缺少长距离、非连续的单词交互。

近年来，基于图的方法被用来解决这一问题，它不把文本看做一个序列，而是将文本看做一组共现词。然而，这些基于图的方法有两个主要的缺点。首先，忽略了每一个文档中的上下文意识单词关系。第二，因为全局结构，测试文件在训练中是必须出现的。所以，它们具备内在的转化性，很难进行概括学习（inductive learning）。

模型

做者在本文中提出了一种基于图神经网络的文本分类方法TextING（Inductive Text Classification via Graph Neural Networks）。与以往的基于全局结构的图方法相比，做者训练了一个GNN，它只使用训练文档来描述详细的词-词关系，并在测试中推广到新的文档。在这个模型下，每个文档都是一个独立的拓扑图，在文档级别的单词关系能够被学习到。同时这个模型也能够适用于训练过程当中未出现的新单词。

模型包括三个关键部分：图形构造、基于图形的单词交互和读出功能。架构以下图所示。

（1）Graph Construction 做者使用一个长度为3的sliding windows去学习单词之间的共现关系，对于每个文档都构造出了一个拓扑图。

（2）Graph-based Word Interaction 做者使用GGNN门控图神经网络来学习文档的词项embedding。

（3）readout function 经过两个多层感知机MLP获得一个文档上每个节点的特征表示，而后经过这个这些节点计算出整张图的特征表示，也就是这个文档的特征表示。

做者还提出了一个模型的变体TextING-M。做者将局部图和全局图结合在一块儿，将他们单独训练，而后以1：1的比例来作最终预测。这个模型并不能进行概括学习，因此做者的重点是从微观和宏观两个角度来考察两者是否能够互补

实验

做者按照9：1的比例划分训练集和验证集。学习率是0.01，dropout是0.5，初始的单词特征表示用的是维度为300的GloVe。为了公平比较，其余基线模型共享相同的嵌入，实验的结果见下表。

数值是分类的准确率accuracy，做者作了十次实验，正负是这些实验的上下波动状况。能够看出每个任务中，TextING都是结果最好的。其中在MR任务中，TextING的效果是比TextGCN好最多的，是由于在MR中，这些评论都是短文本，致使了textGCN中的低密度图，它限制了文档节点之间的标签消息的传递，可是TextING的单个图不依赖于这种标签消息传递机制。