图到文本生成中的结构信息保持

本论文由腾讯 AI Lab 主导,和厦门大学、西湖大学合做完成。做者提出基于“多视角重建”的损失函数提高文本生成的质量和忠实度,与此同时并无增长任何模型参数。函数

Structural Information Preserving for Graph-to-Text Generation性能

图到文本生成(graph-to-text generation)任务有着普遍的潜在应用,而且已经被应用在机器翻译等任务中。下图显示了两种图结构(语义图和知识图谱),分别表示“The boy wants the beautiful girl to eat lunch with him.”和“Above the Veil is an Australian novel and the sequel to Aenir. It was followed by Into the Battle.”学习

现有的该领域工做不断的提出更强大的模型来表示图信息,但模型依然是经过拟合到目标文本的基于语言模型(language modeling loss)的损失函数进行训练的,做为结果,模型会产生流畅的输出,但会丢失许多输入的重要信息。编码

本文提出了一种通用的基于“多视角重建”的损失函数来辅助模型训练。总的来讲,咱们提出了多种方法把输入的图投射到目标句子端,让解码器不只学习输出目标句子,还要输出投射的图结构,这样可以迫使模型在作生成的时候更好的记住输入内容。spa

上图展现了咱们的模型,其中“Encoder-Decoder”表明一种“structural-aware transformer” 的模型,它在多个图到文本生成任务重取得了最好的性能,它用右侧的基于语言模型的损失函数来训练。咱们提出两种“多视角重建”的损失函数,它们都是从解码器端进行计算,这样可以强化整个模型的训练(而不是只有编码器)。其中第一种视角(View 1)展示了图投射在目标语言上的形态,它相似于依存树,咱们用额外的Deep Baffine模型对它进行建模;另外第二种视角(View 2)展现了线性化后的图,咱们用一个标准的饿Transformer Decoder对它进行建模,最后对三部分损失加权获得最终的损失:翻译

为了验证做者在三个图到文本的标准数据集(LDC2015E86,LDC2017T10,WebNLG)上进行验证,分别取得了2.4+ BLEU score的提高,分别见表一、二、3,更多分析结果请参考原文code

表1: LDC2015E86上的结果orm

表2: LDC2017T10上的结果blog

表3: WebNLG上的结果it

相关文章
相关标签/搜索