Coursera deeplearning.ai 深度学习笔记2-3-Hyperparameter tuning, Batch Normalization and Programming Framew

1 超参数(Hyperparameter) 神经网络中，最重要的超参数是学习因子α；其次是Momentum参数β(通常0.9)、mini-batch大小、隐含层单元数；再其次是隐含层层数、学习因子衰减率。如果采用Adam算法，其参数通常可以选用默认，β1 = 0.9、β2 = 0.999、ε = 10-8。 在尝试参数时，建议先对比较重要的参数随机取样，并尝试尽可能多的组合。当寻找到参数比较合适的

>>阅读原文<<