随笔小计-dropout

1、什么是dropout？ 字面意思dropout=drop+out即退出的意思，在神经网络训练过程中，随机让某一个神经元退出或者丢弃，当然此次的丢弃只存在于当前的batch中，对于随机梯度下降来说，每一个batch训练的网络都不尽相同。 2、droput有啥优点 防止过拟合，提高模型泛化能力 3、怎么实现的 1. 训练 给每个神经元加一个概率 用公式表示： 没有dropout的神经网络 有dro

>>阅读原文<<