Seq2Seq模型中的label bias和exposure bias问题

从序列到序列的seq2seq模型中，存在着label bias和exposure bias问题。这两个偏差问题是由于不同的原因导致的。先给出结论在分别解释 label bias：根本原因是我们真实的目标与建模的目标不一致，导致模型最终求得的输出和我们真实想要的输出存在偏差。体现在联合概率分布上就是，真实想要的分布应该是全局归一化得到的。而建模得到的分布是局部归一化得到的。 exposure bia

>>阅读原文<<