探究Transformer中PostNorm/PreNorm/Initialization/LearningRate之间的关系

论文：On Layer Normalization in the Transformer Architecture                                                           推荐说明：我们知道，在原始的Transformer中，Layer Norm在跟在Residual之后的，我们把这个称为Post-LN Transformer；而且用Tr

>>阅读原文<<