深度学习优化方法：梯度下降法及其变形

优化与大家的日常生活息息相关。具体是指改变输入 x 以最小化或者最大化某个函数 f(x) 。如空调温度固定到多少时会使耗能最小、工厂需要多少机器才能效益最大……通常都以最小化 f(x) 指代大多数最优化问题，因为最大化可经由最小化算法优化 −f(x) 来实现。具体的描述如下所示： x∗=argminf(x),x为实数. 如何确定较好的的最小化算法使得上述问题的求解高效准确？先假定函数的导数记为 f

>>阅读原文<<