自适应RELU

论文：https://ieeexplore.ieee.org/document/8998530 问题 RELU的应用是激活函数中最为广泛的，因为他在反向传播时梯度是1，这就避免了因为激活函数导致的梯度消失和梯度爆炸问题，但是存在的缺点是，在负区时梯度会为0，导致大面积神经元的梯度死区。所以Leaky RELU诞生了。但是依旧存在问题时，leaky relu存在超参数，人为设定会需要先验经验。 何恺

>>阅读原文<<