机器学习超参调整经验

训练偏差应该稳步减少，刚开始是急剧减少，最终应随着训练收敛达到平稳状态。 若是训练还没有收敛，尝试运行更长的时间。 若是训练偏差减少速度过慢，则提升学习速率也许有助于加快其减少速度。 但有时若是学习速率太高，训练偏差的减少速度反而会变慢。 若是训练偏差变化很大，尝试下降学习速率。 较低的学习速率和较大的步数/较大的批量大小一般是不错的组合。 批量大小太小也会致使不稳定状况。不妨先尝试 100 或

>>阅读原文<<