神经网络如何调参，自己的一些心得和实战经验

引言 神经网络的调参十分重要，很多人都说深度学习是一个黑箱模型，有人戏称深度学习为“炼丹”。但是深度学习归根结底是一个数学优化的过程，超参数对于模型的效果影响很大。网上文章也有很多，比如梯度爆炸应该怎么办，学习率怎么调整，选什么样的优化器等等。下面我就说一下自己的一些心得以及借鉴的别人的一些想法。 学习率的调整 为了训练神经网络，其中一个需要设置的关键超参数是学习率。提醒一下，为了最小化此网络的损

>>阅读原文<<