CNN, RNN, Transformer关于特征提取的对比分析

在自然语言领域，不论是什么问题，首先都会有一种比较主流的操作，就是先对输入基于预训练的词向量做embedding，再用一个结构（特征提取器）结合上下文去做多一次embedding，这样得到的词向量，就可以有效地反映出自身的含义，以及在句子中与其他词之间的联系了。 即使特征提取器五花八门，但总的来说可以认为都是基于CNN、RNN、transformer的改进版本，所以他们或多或少都有着这几个模型的优

>>阅读原文<<