深度学习笔记二：梯度下降算法

下山问题     打个比方，一个人从山顶想要去山脚，首先要找到下山最快的 方向（梯度），走一步，再重新找到最快的方向，再走一步，如此重复到达山脚。 梯度下降算法     神经网络的训练过程中会不断更新参数，我们先用损失函数对参数求梯度（方向），然后在按照一个学习率（步长），进行参数的调整。     找到合适的学习率对训练神经网络很重要，过大的学习率可能导致模型不收敛，即找不到loss的最小值；学习

>>阅读原文<<