深度学习优化算法总结与实验

　　深度学习优化算法最耳熟能详的就是GD（Gradient Descend）梯度下降，然后又有一个所谓的SGD（Stochastic Gradient Descend）随机梯度下降，其实还是梯度下降，只不过每次更新梯度不用整个训练集而是训练集中的随机样本。梯度下降的好处就是用到了当前迭代的一些性质，以至于总能较快找到驻点。而像遗传算法等智能优化算法，则是基于巨大的计算资源上的。它们并不使用函数特性

>>阅读原文<<