Bert学习资料

https://zhuanlan.zhihu.com/p/49271699

Bert是近年来NLP重大进展的集大成者. 目前绝大部分NLP任务均可以采用相似的两阶段模式直接去提高效果

Transformer是谷歌在17年作机器翻译任务的“Attention is all you need”的论文中提出的，引发了至关大的反响，不少研究已经证实了Transformer提取特征的能力是要远强于LSTM的.

Transformer在将来会逐渐替代掉RNN成为主流的NLP工具，RNN一直受困于其并行计算能力，这是由于它自己结构的序列性依赖致使的.

CNN在NLP里一直没有造成主流，CNN的最大优势是易于作并行计算，因此速度快，可是在捕获NLP的序列关系尤为是长距离特征方面自然有缺陷

https://zhuanlan.zhihu.com/p/37601161  深度学习中的注意力模型

https://jalammar.github.io/illustrated-transformer/  transformer资料