炼丹技巧

1. 无脑Adam 　它的默认初始学习率是0.001,但是发现设置为0.0002效果很好    注意记录loss的时候最好把cross-entropy和regularization的loss分来记录，同时对比，最好是刚开始时两个方面的loss都在下降，不要说一开始一直都是regularization loss在下降，分类loss不变，这样很容易rloss全变成0从而loss不下降了  ❤发现lr越

>>阅读原文<<