ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记

一、ELMO ELMO是通过基于RNN来预测词向量的，如下图所示，对于“潮水退了就知道谁没穿裤子”这句话里面的“潮水”这个词，通过正向RNN和逆向RNN都会产生一个词向量，然后把这两个词向量进行加权得到最后的词向量。其中加权的权重参数是从下游任务里面学习到的。   二、BERT BERT 的训练过程有两种方式，一种是Masked LM，另外一种是预测下一句话的方法。 1. Masked LM Ma

>>阅读原文<<