Xavier 论文阅读

Xavier 原论文传送地址 参考博客传送 摘要 在2006年之前，似乎深层多层神经网络没有得到成功的训练，然而几种算法已被证明可以成功地训练它们，实验结果表明深层架构较浅层架构的优越性。 所有这些实验结果都是通过新的初始化或训练机制获得的。 我们的目标是更好地理解为什么使用了随机初始化的标准梯度下降与深度神经网络结合的效果差，以便来更好地理解这些最近的相对成功的算法，并帮助设计更好的算法。 我们

>>阅读原文<<