如何应对Seq2Seq中的“根本停不下来”问题？

  ©PaperWeekly 原创 · 作者｜苏剑林 单位｜追一科技 研究方向｜NLP、神经网络 在 Seq2Seq 的解码过程中，我们是逐个 token 地递归生成的，直到出现 标记为止，这就是所谓的“自回归”生成模型。然而，研究过 Seq2Seq 的读者应该都能发现，这种自回归的解码偶尔会出现“根本停不下来”的现象，主要是某个片段反复出现，比如“今天天气不错不错不错不错不错...”、“你觉得我

>>阅读原文<<