深度学习优化入门：Momentum、RMSProp 和 Adam

转自：机器学习算法与Python学习 虽然局部极小值和鞍点会阻碍我们的训练，但病态曲率会减慢训练的速度，以至于从事机器学习的人可能会认为搜索已经收敛到一个次优的极小值。让我们深入了解什么是病态曲率。 机器学习交流群 进群的小伙伴请添加微信 MLAPython 备注（姓名-单位-方向）   病态曲率 考虑以下损失曲线图。 **病态曲率** 如你所知，我们在进入一个以蓝色为标志的像沟一样的区域之前是随

>>阅读原文<<