神经网络基础--1.4 梯度下降法

梯度下降法 用来训练或学习训练集上的参数w和b 为了便于理解，以一元函数为例 要找到输入值w，使输出的函数值C(w)最小。 先随便挑一个输入值，然后考虑向左还是向右走，函数值才会变小。 如果可以确定函数在这里的斜率，斜率为正，就向左走，斜率为负，就向右走。 如果每一步的大小和斜率成比例，那么在最小值附近斜率会越来越平缓，每一步会越来越小，这样可以防止调过头。 在每一个点上都这样重复，计算新斜率，再

>>阅读原文<<