李宏毅机器学习笔记---Optimization

没有一个Optimization是万能的!!! Background Knowledge  What is Optimization about? On-line vs Off-line SGD SGD with Momentum(SGDM) 普通SGD可能恰好算出到一个局部最优,然后卡住就不动了;但是加入movement后,前面movement会对后面产生影响,可以跳出局部最优。 Adagrad
相关文章
相关标签/搜索