Dropout与DropConnect比较

Dropout(Hintonet al., 2012)和DropConnect(Wan et al., 2013)都是为防止训练过拟合而提出。但我们平时使用的是Dropout（后面会解释原因）。 Dropout：训练过程中以概率1-p将隐层节点输出值清0，而进行BP更新权值时，不更新与该节点相连的权值 r = m. * a(Wv) v是nx1维的列向量，W是dxn维的矩阵，m是个dx1的0,1列向

>>阅读原文<<