李宏毅机器学习二

1.误差与偏差 高偏差（Bias）对应着欠拟合，高方差（Voriance）对应着过拟合。 对于高偏差，主要的解决方法是正则化，具体可参考上一篇内容。 2.鞍点 在神经网络中的梯度下降中，梯度为0的点通常不是全局最优解，也可能会是局部最优解或者鞍点。鞍点就是在某一个范围内梯度为0，在这里梯度下降的速度会变得特别慢。当然也不需要过于纠结这个问题，我们的梯度优化算法如adam，RMSprop等或者强大的

>>阅读原文<<