经典模型梳理：AlexNet

AlexNet 关于 Alex 的传说……大家随便听个报告都会讲到，这里就不说了。本文主要目的是为自己梳理知识 ReLU Dropout 网络结构 ReLU Nonlinearity 激活函数是从 Sigmoid 到 tanh 到 ReLU 的，最初用 Sigmoid 存在三个问题 Saturated neurons “kill” the gradients. 当输入 x=0 时，梯度为0.25，

>>阅读原文<<