在507干活的第4天（上）

昨天一波超额完成任务。直接看完了第四章的内容，神经网络可以拟合任何函数的数学证明（还真挺好看的），今天争取进入深度学习阶段，顺便看看反向传播算法。 知识点1：深度学习的难点 深度学习的难点在于梯度不稳定。这种不稳定会导致前面的隐层和后面的隐层训练速度差异很大。 知识点2：梯度消失 梯度消失指的是前面的隐层梯度迅速减小的情况。 这种情况源于梯度的数学公式： 这个函数看似很复杂，实际上就是一个很清晰的

>>阅读原文<<