***bpe subword（机器翻译）

我的理解： bpe subword能够用来解决 “机器翻译” 中，“未登陆词”的问题。 所谓“未登陆词”，是指“测试集/验证集”中出现 可是 在“训练集”中没有出现的 单词。git 原始的“机器翻译”是在word-level下进行训练的。 先用语料库构建dictionary，给出dictionary中每一个word的编码。而后，把sentence投入模型进行训练。github 有一个疑问： 好比：

>>阅读原文<<