transformer encoder整体结构梳理

transformer encoder整体结构梳理 下面用公式把一个transformer block的计算过程整理一下： （1）字向量与位置编码： X = E m b e d d i n g L o o k u p ( X ) + P o s i t i o n a l E n c o d i n g X=EmbeddingLookup(X)+PositionalEncoding X=Embed

>>阅读原文<<