Bert简单理解——原理与介绍

1.BERT的作用 学习参考链接：infoQ infoQ2 因为在NLP任务中我们需要大量的任务专有数据，通常情况下只能将文本分成字段，得到几百或者几十万个人工标注的数据，这远远不够NLP任务中所用的训练数据。 所以开发一系列训练通用得语言模型，使用网上爬虫获取的文本（未注释）作为模型输入，得到大量的专有任务需要的数据集,该过程也成为预训练。 Bert就是这样的一个训练通用语言模型的工具。(自己理

>>阅读原文<<