【零基础】神经网络优化之dropout和梯度校验

一、序言 　　dropout和L1、L2一样是一种解决过拟合的方法，梯度检验则是一种检验“反向传播”计算是否准确的方法，这里合并简单讲述，并在文末提供完整示例代码，代码中还包含了之前L2的示例，全都是在“深层神经网络解析”这篇基础之上修改的。 二、dropout 　　简单来说dropout就是在每次训练时“随机”失效网络中部分神经元，大概就是下图这么个意思。   　　让神经元随机消失办法很简单，我

>>阅读原文<<