BERT的理解

最近BERT大火，因此最近也开始研究这个模型，将本身的简单认识记录了下来git 从模型的创新角度看通常，创新不大，可是实验的效果太好了，基本刷新了不少NLP的任务的最好性能，另一点是BERT具有普遍的通用性，就是说绝大部分NLP任务均可以采用相似的两阶段模式直接去提高效果。github 与最近的语言表征模型不一样，BERT基于全部层中的左、右语境进行联合调整，来预训练深层双向表征。只须要增长一个输

>>阅读原文<<