GELU 激活函数

GELU的全称是GAUSSIAN ERROR LINEAR UNIT 与Sigmoids相比，像ReLU，ELU和PReLU这样的激活可以使神经网络更快更好地收敛。 此外，Dropout通过将一些激活数乘以0来规范化模型。 以上两种方法共同决定了神经元的输出。但是，两者彼此独立工作。GELU旨在将它们结合起来。 另外，称为Zoneout的新RNN正则化器将输入随机乘以1。 我们希望通过将输入乘以0

>>阅读原文<<