超参数调试与BN(Batch Norm)

1. 深度学习中的超参数 深度学习最难之一的问题，也是被许多人不喜的愿意就是超参数，深度学习中有许多超参数，例如常见的学习率、隐藏层的数量、优化算法中的超参数等等。这些超参数往往没有一个固定的比较好的值，在不同的领域、不同的场景、甚至是硬件条件不变，最适合的超参数也在变化，因此，想要掌握深度学习，超参数是不得不面对的一件事。 那么超参数那么多，到底怎样选取合适的值呢？ 我们首先根据大多数人的经验为

>>阅读原文<<