Task06 凸优化与深度学习

优化与深度学习 1.优化与估计 尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。 优化方法目标：训练集损失函数值 深度学习目标：测试集损失函数值（泛化性）   2.优化在深度学习中的挑战 局部最小值 鞍点 梯度消失 2.1局部最小值 对于目标函数f(x),如果f(x)在x上的值比在x邻近的其他点更小，那么f(x)可能是一个局部最小值。 如果f(x)

>>阅读原文<<