注意力机制与ReLU激活函数：自适应参数化ReLU激活函数

本文首先回顾了一些传统的激活函数和注意力机制，然后解读了一种“注意力机制下的激活函数”，也就是自适应参数化修正线性单元（Adaptively Parametric Rectifier Linear Unit，APReLU）。 1.激活函数 激活函数是神经网络的核心组成部分之一，其作用是进行人工神经网络的非线性化。我们首先回顾一些最为常见的激活函数，包括Sigmoid激活函数、Tanh激活函数和Re

>>阅读原文<<