NLP转折之战！再不学Transformer就晚了

时间 2021-01-01

原文原文链接

都2020年了，你还在用RNN、CNN？Transformer了解一下！在Transformer之前，我们一般使用RNN 和CNN来作为编解码器，但RNN无法并行计算，模型效率十分低。虽然你也可以用CNN替换RNN，达到并行的效果，但是CNN需要堆叠多层的卷积层，导致模型过于冗杂。这时候，Transformer模型就“横空出世”了，它不仅能够并行，并且可以考虑到输入序列不同token的权重。