深度学习——训练过程

传统神经网络的训练方法为何不能用在深度神经网络？算法 BP算法做为传统训练多层网络的典型算法，实际上对仅含几层网络，该训练方法就已经很不理想。涉及多个非线性处理单元层的深度结构的非凸目标代价函数中广泛存在的局部最小是训练困难的主要来源。网络 BP算法存在的问题：函数 一、梯度愈来愈稀疏：从顶层越往下，偏差校订信号愈来愈小；学习 二、收敛到局部最小值：尤为是从远离最优区域开始的时候（随机值初始化会致

>>阅读原文<<