neuralnetworksanddeeplearning学习_权重初始化方法

在第一章中作者使用的权重初始化方法是将权重以标准正态分布N~(0,1)进行初始化，本章作者介绍使网络更加高效的权重初始化方式。 作者假设网络有1000个输入，其中500个值为0，500个值为1，第一隐藏层的节点未激活输出为，那么其输出实际上就是501个独立正态分布变量之和，其中包括500个w和1个bias。独立的正态分布变量之和仍然是正态分布，则未激活输出仍然满足正态分布N~(0，501)，即其方

>>阅读原文<<