机器学习之路： 深度学习 tensorflow 神经网络优化算法 学习率的设置

    在神经网络中，广泛的使用反向传播和梯度下降算法调整神经网络中参数的取值。         梯度下降和学习率： 　　假设用 θ 来表示神经网络中的参数， J(θ) 表示在给定参数下训练数据集上损失函数的大小。 　　那么整个优化过程就是寻找一个参数θ， 使得J(θ) 的值最小， 也就是求J(θ) 的最小值 　　 　　损失函数J(θ)的梯度 = ∂ J(θ) / ∂ θ  　　此时定义一个学习率

>>阅读原文<<