Tensorflow学习笔记（七）优化方法，梯度优化

一、梯度下降算法 梯度学习 根据导数的定义，如果输入发生微小的变化，那么输出也会相应的变化： 对导数符号化后，有: 梯度下降的思路如下： 寻找一个参数w，使得损失函数J(w)的值最小，通过不断的迭代，w会不断更新，最后会达到或接近最小值点。 梯度下降算法原理图： 梯度下降算法实际上一种求解最小二乘法最优解的有效工具。 σ为学习率，该值越大学习速度越快，相反，也有可能因为过大而越过导致w变化过大导致

>>阅读原文<<