丢弃法Dropout

丢弃法Dropout:一种抑制过拟合的方法。 上图中提到的两种解决方案:1.downgrade_in_infer:训练时随机丢弃一部分神经元;预测时不丢弃神经元,这里提到的不丢弃神经元是指预测时不丢弃在训练时随机丢弃的那部分神经元,但是把全部分神经元的数值变小,来使最后的输出数据总大小不变。 2.upscale_in_train:训练时随机丢弃一部分神经元,但是把保留的那些神经元数值放大(放大比例
相关文章
相关标签/搜索