深度学习和计算机视觉04-数学优化基础

最小值和梯度下降 1优化问题就是求最小值的问题 2梯度下降： （1）梯度计算： （2）梯度下降法： a.先求出所在位置的梯度，然后取这个梯度的负方向（x沿着极小值前进的方向） b.更新，梯度乘以一个系数，用来控制步长的大小（学习率） c.终止条件：设定梯度小于某一个阈值 （3）极值和鞍点 a.鞍点是梯度为0的点 b,局部的最小值为极值点 c.梯度很小的区域为停滞区 2.冲量（Momentum） (

>>阅读原文<<