【深度学习（一）】神经网络的初始化

本系列的文章为科研期间的知识面整理，内容在时间前后上并没有联系，可以视作是独立的板块 本篇为开篇之作，主要讲述在神经网络中的初始化问题。一般在神经网络中，我们将偏置初始化为0，原因在于该因素对于网络中的梯度流动并无影响。实际上神经网络中，我们需要考虑的是如何对神经网络中的权重进行初始化。 提出问题 我们知道大部分的神经网络都是使用梯度下降法来进行优化的，因此初始点的选择往往会对整个训练过程的收敛速

>>阅读原文<<