优化在深度学习中的挑战

参考：https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter07_optimization/7.1_optimization-intro 优化在深度学习中有很多挑战。下面描述了其中的两个挑战，即局部最小值和鞍点。 1. 局部最小值 深度学习模型的目标函数可能有若干局部最优值。当一个优化问题的数值解在局部最优解附近时，由于目标函数有关解的梯度接近或变

>>阅读原文<<