关于局部最优

在开始学习梯度下降的时候，总会有这样的疑问：梯度下降只能到达局部最优，万一到达了一个较大的局部最优，错过了较小的全局最优或是另外一个更小的局部最优，那么是不是算法是失败呢？ 其实在机器学习的大数据背景下，随机到达的局部最优点与全局最优点虽然有差距，但是也足够优秀。 而且到达局部最优的可能性也不是很大。 单独看一个特征，到达梯度为0的情况有两种： 而100个特征全部到达右边这种情况的概率值约为 1

>>阅读原文<<