梯度消失

梯度消失是传统神经网络训练中非常致命的一个问题，其本质是由于链式法则的乘法特性导致的。比如之前神经网络中最流行的激活函数之一Sigmoid，其表达式如下：                                                    把这个函数的导数画出来，如图：                                                        

>>阅读原文<<