深度学习之参数初始化策略

为何须要参数初始化策略 目的 为了让神经网络在训练过程当中学习到有用的信息，须要参数更新时的梯度不为0。在通常的全链接网络中，参数更新的梯度和反向传播获得的状态梯度以及输入激活值有关。那么参数初始化应该知足如下两个条件： 1. 初始化必要条件一：各层激活值不会出现饱和现象(对于sigmoid,tanh)； 2. 初始化必要条件二：各层激活值不为0。python 全零初始化存在的问题 全零初始化方法

>>阅读原文<<