一文读懂BERT中的WordPiece

时间 2019-11-25

标签一文读懂 bert wordpiece 繁體版

原文原文链接

1. 前言

2018年最火的论文要属google的BERT，不过今天咱们不介绍BERT的模型，而是要介绍BERT中的一个小模块WordPiece。javascript

2. WordPiece原理

如今基本性能好一些的NLP模型，例如OpenAI GPT，google的BERT，在数据预处理的时候都会有WordPiece的过程。WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。java

WordPiece的一种主要的实现方式叫作BPE（Byte-Pair Encoding）双字节编码。git

BPE的过程能够理解为把一个单词再拆分，使得咱们的此表会变得精简，而且寓意更加清晰。github

好比"loved","loving","loves"这三个单词。其实自己的语义都是“爱”的意思，可是若是咱们以单词为单位，那它们就算不同的词，在英语中不一样后缀的词很是的多，就会使得词表变的很大，训练速度变慢，训练的效果也不是太好。算法

BPE算法经过训练，可以把上面的3个单词拆分红"lov","ed","ing","es"几部分，这样能够把词的自己的意思和时态分开，有效的减小了词表的数量。性能

3. BPE算法

BPE的大概训练过程：首先将词分红一个一个的字符，而后在词的范围内统计字符对出现的次数，每次将次数最多的字符对保存起来，直到循环次数结束。学习

咱们模拟一下BPE算法。ui

咱们原始词表以下：google

{'l o w e r ': 2, 'n e w e s t ': 6, 'w i d e s t ': 3, 'l o w ': 5}编码

其中的key是词表的单词拆分层字母，再加表明结尾，value表明词出现的频率。

下面咱们每一步在整张词表中找出频率最高相邻序列，并把它合并，依次循环。

原始词表 {'l o w e r </w>': 2, 'n e w e s t </w>': 6, 'w i d e s t </w>': 3, 'l o w </w>': 5}
出现最频繁的序列 ('s', 't') 9
合并最频繁的序列后的词表 {'n e w e st </w>': 6, 'l o w e r </w>': 2, 'w i d e st </w>': 3, 'l o w </w>': 5}
出现最频繁的序列 ('e', 'st') 9
合并最频繁的序列后的词表 {'l o w e r </w>': 2, 'l o w </w>': 5, 'w i d est </w>': 3, 'n e w est </w>': 6}
出现最频繁的序列 ('est', '</w>') 9
合并最频繁的序列后的词表 {'w i d est</w>': 3, 'l o w e r </w>': 2, 'n e w est</w>': 6, 'l o w </w>': 5}
出现最频繁的序列 ('l', 'o') 7
合并最频繁的序列后的词表 {'w i d est</w>': 3, 'lo w e r </w>': 2, 'n e w est</w>': 6, 'lo w </w>': 5}
出现最频繁的序列 ('lo', 'w') 7
合并最频繁的序列后的词表 {'w i d est</w>': 3, 'low e r </w>': 2, 'n e w est</w>': 6, 'low </w>': 5}
出现最频繁的序列 ('n', 'e') 6
合并最频繁的序列后的词表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne w est</w>': 6, 'low </w>': 5}
出现最频繁的序列 ('w', 'est</w>') 6
合并最频繁的序列后的词表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne west</w>': 6, 'low </w>': 5}
出现最频繁的序列 ('ne', 'west</w>') 6
合并最频繁的序列后的词表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low </w>': 5}
出现最频繁的序列 ('low', '</w>') 5
合并最频繁的序列后的词表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low</w>': 5}
出现最频繁的序列 ('i', 'd') 3
合并最频繁的序列后的词表 {'w id est</w>': 3, 'newest</w>': 6, 'low</w>': 5, 'low e r </w>': 2}

这样咱们经过BPE获得了更加合适的词表了，这个词表可能会出现一些不是单词的组合，可是这个自己是有意义的一种形式，加速NLP的学习，提高不一样词之间的语义的区分度。

4. 学习资料

介绍一些关于WordPiece和BPE的资料供同窗们参考。

5. 总结

WordPiece或者BPE这么好，咱们是否是哪里都能这么用呢？其实在咱们的中文中不是很适用。首先咱们的中文不像英文或者其余欧洲的语言同样经过空格分开，咱们是连续的。其次咱们的中文一个字就是一个最小的单元，没法在拆分的更小了。在中文中通常的处理方式是两中，分词和分字。理论上分词要比分字好，由于分词更加细致，语义分的更加开。分字简单，效率高，词表也很小，经常使用字就3000左右。