权值初始化 - Xavier和MSRA方法

设计好神经网络结构以及loss function 后，训练神经网络的步骤如下： 初始化权值参数 选择一个合适的梯度下降算法（例如：Adam，RMSprop等） 重复下面的迭代过程： 输入的正向传播 计算loss function 的值 反向传播，计算loss function 相对于权值参数的梯度值 根据选择的梯度下降算法，使用梯度值更新每个权值参数 初始化 神经网络的训练过程是一个迭代的过程，俗

>>阅读原文<<