【李宏毅】机器学习 笔记08（Tips for deep learning）

注：这不是overfiting的结果，因为这里是training data   对于最后卡在local minima的点，可以通过类比现实物理中的惯性，在做梯度下降时，加上一个代表类似惯性的量momentum，和梯度共同影响下一步的移动，来解决这种卡住的情况：   这个平均值和所有的权重*(1-p)%的结果是可以约等的 如：两个input的时候： 左边，average=(w1x1+w2x2+w2x

>>阅读原文<<