Dropout学习率怎么调？

问题引入

大多人在调参的时候可能不少是时候就是改改参数，Dropout做为机器学习中很重要的一个模块，其在使用的过程当中的学习率是如何调节的呢？

问题解答

    Dropout能够比较有效的缓解过拟合的发生，具备集成学习的效果，在必定程度上达到正则化的效果。Dropout说的简单一点就是：咱们在前向传播的时候，让某个神经元的激活值以必定的几率p中止工做，这样可使模型泛化性更强，由于它不会太依赖某些局部的特征。Dropout是如何调节最好呢？

1. 通过交叉验证，隐含节点 dropout 率等于 0.5 的时候效果最好，缘由是 0.5 的时候 dropout 随机生成的网络结构最多。
2. dropout 也能够被用做一种添加噪声的方法，直接对 input 进行操做。输入层设为更接近 1 的数。使得输入变化不会太大（0.8）
3. 对参数  的训练进行球形限制 (max-normalization)，对 dropout 的训练很是有用。
4. 球形半径  是一个须要调整的参数，可使用验证集进行参数调优。
5. dropout 本身虽然也很牛，可是 dropout、max-normalization、large decaying learning rates and high momentum 组合起来效果更好，好比 max-norm regularization 就能够防止大的learning rate 致使的参数 blow up。
6. 使用 pretraining 方法也能够帮助 dropout 训练参数，在使用 dropout 时，要将全部参数都乘以 。

参考

[1]https://www.jianshu.com/p/5de89ffb3a54

喜欢就关注一下啦~~~