Xavier Glorot参数初始化: 理解训练Deep DNN的难点

文章目录 1 深度神经网络 2 实验环境和数据集 在线学习无限数据集：Shapeset-3 x 2 有限数据集 实验环境 3 训练过程激活函数和饱和的影响 Sigmoid实验 Tanh实验 Softsign实验 4 研究梯度及其传播 损失函数影响 梯度传播研究 学习过程中的后向传播梯度 5 误差曲线与结论 【Reference】 1. Understanding the difficulty of

>>阅读原文<<