RNN变体之dropout

问题 RNN在迭代运用状态转换操作“输入到隐状态”实现任意长序列的定长表示时，会遭遇到“对隐状态扰动过于敏感”的困境。 dropout dropout的数学形式化: y=f(W⋅d(x)) , 其中 d(x)={mask∗x, if train phaseing(1−p)x,otherwise p 为dropout率，mask为以1-p为概率的贝努力分布生成的二值向量 rnn dropout 改变

>>阅读原文<<