Bert说明

Bert说明 1 模型结构 1.1 说明 1.2 Embedding层 1.3 transformer encoder层 1.3.1 self-attention层 1.3.2 feedforward层 1.3.3 add&norm层 2 预训练 2.1 说明 2.2 mask词预测 2.3 下句预测 3 fine-tuning 1 模型结构 1.1 说明 Bert的结构 = Embedding层

>>阅读原文<<