深度学习笔记(2)：3.1 参数调试过程 | 3.2 使用适当的尺度选择参数 | 3.3 调参实践

3.1 调试过程(tuning process) 在训练神经网络过程中，我们会有很多的超参数需要调试，比如学习率，momentum参数，adam参数、和，神经网络层数(layers)，每层神经网络隐藏的神经元(hidden units)，如果使用learning rate decay，还会有其他参数，还有mini-batch的大小。 但这些参数重要性有区别，如下图所示： 红色圈起来的学习率是最重要

>>阅读原文<<