深度学习笔记（十）--深度神经网络的致命问题

随着神经网络层数的加深，有三个重大问题： 一是非凸优化问题，即优化函数越来越容易陷入局部最优解； 二是（Gradient Vanish）梯度消失问题； 三是过拟合问题。 1、 非凸优化问题 线性回归，本质是一个多元一次函数的优化问题，设f(x,y)=x+y 多层神经网络，本质是一个多元K次函数优化问题，设f(x,y)=xy 在线性回归当中，从任意一个点出发搜索，最终必然是下降到全局最小值附近的。所

>>阅读原文<<