各种神经网络优化算法：从梯度下降，随机梯度下架，批量随机梯度下架，Adagrad，AdaDelta，Adam

1 一阶优化算法         这种算法使用各参数的梯度值来最小化或最大化损失函数E(x)，从而找到最合适的矩阵权重θ。最常用的一阶优化算法是梯度下降。   2 二阶优化算法 二阶优化算法使用了二阶导数(也叫做Hessian方法)来最小化或最大化损失函数。由于二阶导数的计算成本很高，所以这种方法并没有广泛使用。   1 梯度下降的公式。 网络更新参数的公式为：θ=θ−η×∇(θ).J(θ) ，其

>>阅读原文<<