【论文阅读】AlexNet:ImageNet Classification with Deep Covolutional Network

网络结构 使用ReLU非线性层 作者在网络结构中使用了ReLU作为非线性激活层来代替当时比较常用的tanh或sigmoid,加速了网络的训练速度,对此作者也做了对比实验并可视化了结果。 可以看到同样是下降到0.25的loss rate,ReLU(实现)比tanh(虚线)少用了六倍的时间。 局部响应归一化(LRN) 由于ReLU不像tanh或sigmoid一样,输出有一定范围,所以需要对其输出做归一
相关文章
相关标签/搜索