深度学习课堂笔记 5.21

深度学习课堂笔记 Alexnet 特点：采用了ReLU激活函数 1、计算简单 2、反向传播计算容易 3、不容易出现梯度发散问题 4、很多隐层输出为0，使得网络稀疏 5、某些节点坏死，始终输出为0（因为输出为0的节点没法更新权重） 6、容易改变数据的分布（可以使用BN来缓解） Dropout技术 有选择地忽视某些神经元，起到稀疏的作用 最大池化技术（Maxpool） 避免平均池化的模糊效果 步长小于

>>阅读原文<<