自适应学习率算法(六)、自适应学习率算法

目录算法 一、AdaGrad网络 二、RMSPropide 三、Adam函数 四、选择正确的优化算法性能 神经网络研究员早就意识到确定是最难设置的超参数之一，由于它对模型的性能有显著的影响。损失一般高度敏感域参数空间中的某些方向，而不敏感于其余。动量算法能够在必定程度缓解这些问题，但这样作的代价是引入了另外一个超参数，在这种状况下，天然会会问有没有其余方法。若是咱们相信方向敏感度在某种程度是轴对称

>>阅读原文<<