注意力机制+Parametric ReLU激活函数：自适应参数化ReLU激活函数

本文首先回顾了一些传统的激活函数和注意力机制，然后解读了一种“注意力机制下的新型ReLU激活函数”，也就是自适应参数化修正线性单元（Adaptively Parametric Rectifier Linear Unit，APReLU）。 1.激活函数 激活函数是现代人工神经网络的核心部分，其用处是进行人工神经网络的非线性化。我们首先介绍几种最为常见的激活函数，即Sigmoid、Tanh和ReLU激

>>阅读原文<<