深度学习常见问题

1、神经网络基础问题 （1）Backpropagation（要能推倒） 　　后向传播是在求解损失函数L对参数w求导时候用到的方法，目的是通过链式法则对参数进行一层一层的求导。这里重点强调：要将参数进行随机初始化而不是全部置0，否则所有隐层的数值都会与输入相关，这称为对称失效。 （2）梯度消失、梯度爆炸 　　梯度消失：这本质上是由于激活函数的选择导致的， 最简单的sigmoid函数为例，在函数的两端

>>阅读原文<<