Encoder-Decoder 预训练

Encoder-Decoder模型预训练 经过对Encoder-Decoder模型进行预训练可以有效的提升模型的训练效果。 seq2seq模型在数据集比较小的状况下，容易过拟合，在《Unsupervised Pretraining for Sequence to Sequence Learning》一文中提出了使用非监督的预训练来提高seq2seq模型的训练效果。该方法主要是经过两个语言模型对en

>>阅读原文<<