深度神经网络的权重初始化

为何需要初始化权重： 当x越大或者越小，对应的sigmod激活函数的梯度越小，收敛速度越慢。而我们目的是需要较大的梯度，最好x落入sigmod函数的近似线性区间，以提高训练速度，所以权重的初始化将决定收敛的速度。   几种权重初始化方法：   1、随机高斯分布，均值通常设为0，方差0.01或者其他。   2、xavier：其实是一定区间内的均匀分布。 推倒的基础知识： 1.符合均匀分布U（a,b）

>>阅读原文<<