《动手学——凸优化》笔记

优化与深度学习 优化与估计 尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。 优化方法目标：训练集损失函数值 深度学习目标：测试集损失函数值（泛化性） 优化在深度学习中的挑战 局部最小值 鞍点 梯度消失 局部最小值 f ( x ) = x cos ⁡ π x f(x) = x\cos \pi x f(x)=xcosπx 鞍点 A = [ ∂ 2 f

>>阅读原文<<