机器学习--“跳出”局部最小值

在现实的任务上，“跳出”局部最小值可以有三种思想进行考虑。 1.以多组不同的参数值初始化多个神经网络，按标准化方法训练后，取其中误差最小的解作为最终的参数，这相当于从多个不同的初始点开始进行探索，这样就可能陷入不同的局部极小，从中进行有可能获得更接近全局最小的结果. 2. 使用“模拟退火”技术,“模拟退火”在每一步都会以一定的概率接受比当前更差的结果，从而有助于“跳出”局部最小，在每一步的迭代的过

>>阅读原文<<