解释BERT为什么是双向表示

之前也没有仔细思考这个问题， 近几天重新看了一遍BERT模型，发现之前的理解确实有问题，所以过来填坑。 在说明BERT的双向表示前，先回顾一下常见的双向表示 网络结构的双向 首先区别于biLSTM那种双向， 那种是在网络结构上的双层 例如 biLSTM来进行一个单词的双向上下文表示 可以看到， 这种在网络结构上， 每个单词都从正向和反向都得到一个表示， 然后将此表示进行连接， 则此时认为这就是单词

>>阅读原文<<