算法工程师面试准备——深度学习

文章目录 神经网络梯度消失与梯度爆炸 简述现象 产生梯度消失的根本原因 梯度爆炸的根本原因 当激活函数为sigmoid时，梯度消失和梯度爆炸哪个更容易发生？ 如何解决梯度消失和梯度爆炸 激活函数 sigmod tanh ReLU Leaky ReLU 优化方法 SGD Momentum Adagrad RMSprop Adam 牛顿法 拟牛顿法 共轭梯度法 Batch Normalization

>>阅读原文<<