[nlp] BertSum

LSTM : 序列模型。 BertSum : self attention 自注意力向量表征句子（q,k,v），实现并行 。(RNN ,LSTM 灰常慢) 双向transformer 基于encoder单元双向预训练模型 基于维基，语言模型训练。 transformer : 以自注意力单元做了很多encoder decoder结构 。 bert分类器： 1. 经典神经网络 2. transform

>>阅读原文<<