cs231n笔记-超参数优选

Hyperparameter Optimization 第一步 选择相当分散的数值，用几个epoch的迭代去学习。 经过几个epoch可以很好地知道哪些值好或不好，然后做出相应调整，得到一个较好的调参区间。 第二步 （或许需要较长的时间）在上一步骤得到的区间内进行进一步的精确搜索。 在训练循环中，有一个类似于寻找NaN这样的技巧，开始训练一些参数，在每个迭代或epoch观察cost，如果出现一个远

>>阅读原文<<