为何深度学习不采用牛顿法或拟牛顿法做为优化算法？

出处：http://blog.csdn.net/VictoriaW/article/details/71710280 缘由一：牛顿法须要用到梯度和Hessian矩阵，这两个都难以求解。由于很难写出深度神经网络拟合函数的表达式，遑论直接获得其梯度表达式，更不要说获得基于梯度的Hessian矩阵了。 缘由二：即便能够获得梯度和Hessian矩阵，当输入向量的维度N较大时，Hessian矩阵的大小是N×

>>阅读原文<<