PReLU——Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

1. 摘要 在 R e L U ReLU ReLU 的基础上作者提出了 P R e L U PReLU PReLU，在几乎没有增加额外参数的前提下既可以提升模型的拟合能力，又能减小过拟合风险。 针对 R e L U / P R e L U ReLU/PReLU ReLU/PReLU 的矫正非线性，作者设计了一个鲁棒的的参数初始化方法。 2. 介绍 在过去几年，随着更强大网络模型的构建和有效防止过拟

>>阅读原文<<