关于ELMo的若干问题整理 & 思考

1.ELMo的基本原理是什么？ ELMO采用了典型的两阶段过程，第一个阶段是利用语言模型进行预训练；第二个阶段是在做下游任务时，从预训练网络中提取对应单词的网络各层的Word Embedding作为新特征补充到下游任务中。 第一阶段：利用语言模型进行预训练 第一阶段模型总览： 上图展示的是其预训练过程，它的网络结构采用了双层双向LSTM，其中单词(token)特征这一块采用的是单词的embeddi

>>阅读原文<<