网络调参时踩过的坑（长期更新）

1.学习率大小的设置 一般情况下，当网络收敛到一定程度时，loss曲线的变化不明显，并出现上下的小幅度波动，这时候可以考虑调小学习率，帮助网络进一步收敛到最优值。如下图所示： 但有些情况，网络看似收敛了，但实际上是到了某些平坦的曲面，离最优值还有一段距离。典型的loss curve如下图所示： 可以观察到，曲线还在非常稳定地缓慢下降，并且没有上下波动。这时不要误以为网络已经收敛，而要考虑学习率是否

>>阅读原文<<