Encoder-Decoder 预训练

Encoder-Decoder模型预训练 通过对Encoder-Decoder模型进行预训练能够有效的提高模型的训练效果。 seq2seq模型在数据集比较小的情况下，容易过拟合，在《Unsupervised Pretraining for Sequence to Sequence Learning》一文中提出了使用非监督的预训练来提升seq2seq模型的训练效果。该方法主要是通过两个语言模型对en

>>阅读原文<<