论文分享 -- > NLP -- > Neural machine Translation of Rare Words with Subword Units

本次总结的是一篇16年的关于NLP中分词操做的论文,论文连接Subword,参考的实现代码subword-nmt,许多论文方法(例如BERT等)都将该方法应用到分词处理上,相对于word-level和character-level,该方法取得了不错的效果。git 动机和创新点 机器翻译中,一般使用固定大小的词表,而在实际翻译场景中,应当是open-vocabulary。这就使得翻译数据集中的稀有词
相关文章
相关标签/搜索