ELMO

ELMO的每层计算中,通过一个正向RNN得到每个词的embedding,再通过一个反向的RNN得到每个词的embedding,再将同一个词的两个embedding进行contact,因此每个词在不同的上下文中,词向量就不同了。   ELMO实际上是一个多层的组合,假设一个两层的ELMO计算后,每个词会得到两个embedding,那么ELMO会使用两个权重相乘再累加的方式求到最后该字的embeddi
相关文章
相关标签/搜索