权重初始化方式

常见的四种初始化方式 初始化为常数或者0 初始化 Xavier初始化 Kaiming初始化  相同点：四种更新方式的权重均值都为0 后三种初始化的目的是，设计初始化权重的方差，使得每层的输出值 的方差与输入值的方差是一样的。 ----- 输入输出方差一致性 初始化方式 特点 初始化为常数或者0 同层神经元的输入输出完全相同且更新相同  初始化 不考虑激活函数，只利用状态值，只考虑了正向传播，得到 

>>阅读原文<<