【深度学习】初始化参数

TensorFlow的过程中初始化参数的时候要注意哪些？ 感觉这道题就是问“神经网络参数初始化需要注意哪些问题” 观察sigmoid的函数 其输出值在0-1之间，而x过大时，激活函数会变得很平缓，也就是斜率很小，这样不利于学习新的权重。 观察上面计算更新权重值的表达式，权重的更新取决于激活函数的梯度，梯度太小限制神经网络的学习能力，也就是所谓的饱和神经网络。 因此我们不应该让输入值太大；而计算机处

>>阅读原文<<