cs231n_ optimizer

     从上一张的loss function过渡都这一张的optimizer，我们深度学习的训练过程其实就是一个优化的过程，优化的过程我觉得就想是一个盲人下山的问题，盲人想通过最快的速度到达山底，就相当于我们找函数最小值，山底代表我们的loss function的最小值，盲人采用的小碎步往下走，可是他该往哪个方向走最快呢？是的，他可以凭借他身体的感受，在他的周围，用脚去感受，哪个方向最抖，即斜率

>>阅读原文<<