神经网络优化算法总结

由于本文公式较多，简书不支持公式渲染，公式完整版请移步个人博客或参考专栏 优化算法框架 优化算法的框架如下所示： $$ w_{t+1} = w_t - \eta_t \ \eta_t = \cfrac{\alpha}{\sqrt{V_t}} \cdot m_t $$ 其中，$w_i$为i时刻的权值，$\eta_i$为i时刻的优化量；$\alpha$为学习率，$m_t$为一阶动量，$V_t$为二阶动

>>阅读原文<<