从修正Adam到理解泛化：概览2017年深度学习优化算法的最新研究进展

Sebastian Ruder 的这篇博客总结了 2017 年深度学习优化算法的最新进展，他主要从Adam算法的局限性与提升方法、学习率衰减方案、超参数搜索、怎样学习优化和理解泛化性能等角度向我们展示近来研究者对最优化方法的思考与探索。 深度学习终究是寻找一个使泛化性能足够好的（损失函数）极小值过程，它并不一定要求能搜索到非凸函数的最小值点，而需要模型的损失能得到显著性地降低，以收敛到一个可接受的

>>阅读原文<<