深度学习优化理解tips

 一 dropout作用： 1 使深度模型变小，相当于减小参数个数，这样在小规模训练集的情况下自然可以防止过拟合； 2 cannot rely on any one feature, so have to spread out weights. 每个node随机删除，这样可以防止模型过度依赖某几个node. 比如某一个node有四个输入参数x1 x2 x3 x4, 这样将四个输入的权重分散，相当于

>>阅读原文<<