通过方差分析详解最流行的Xavier权重初始化方法

本文假定各位读者了解一些神经网络的基础，包括一些基本的前向与反向传播的表达式。本文很大一部分是进行基础的代数操作，只有少量的基本统计数据。如果读者希望先复习一点神经网络相关的知识，可以阅读以下机器之心曾发过的基础教程。本文尝试用 Glorot 和 Bengio 在他们论文中使用的推导以探讨深度神经网络中的权重初始化问题，并更好地说明为什么他们的方法解决了神经网络面临的训练问题。 最全的DNN概述论

>>阅读原文<<