深度学习中的优化算法

写在前面   深度学习在很多情况下都涉及优化。   寻找神经网络上的一组参数 θ θ ，它能显著地降低代价函数 J(θ) J ( θ ) ，该代价函数通常包括整个训练集上的性能评估和额外的正则化项。   机器学习是一个高度依赖经验的过程，伴随着大量迭代的过程，你需要训练诸多模型，才能找到合适的那一个，所以，优化算法能够帮助你快速训练模型。   深度学习没有在大数据领域发挥最大的效果，我们可以利用一

>>阅读原文<<