吴恩达机器学习系列14：误差与方差

在训练机器学习模型中，结果不能被很好地预测一般是由于高误差（欠拟合）或高方差（过拟合）。把交叉验证集的代价函数和测试集的代价函数画在一个图像中：

左面红色部分为高误差（欠拟合），右边红色部分为高方差（过拟合）。

对于以下模型，线性回归正则化的代价函数为：

其中蓝色框为正则化项，λ 越大，表明对参数的惩罚就越大。

训练集代价函数  J_train (θ) 、交叉验证集代价函数 J_cv (θ) 和测试集代价函数 J_test (θ) 不须要加正则化项，以下：

对于正则化代价函数，经过不一样的 λ 值计算出参数集 θ，而后计算出相应的交叉验证集代价函数 J_cv (θ) 和测试集代价函数 J_test (θ)。

将它们画在一张图像中：

你会发现，随着 λ 增长， J_test (θ) 在不断增大，也就是说拟合程度愈来愈差。λ 刚开始增长时， J_cv (θ) 先减少，表示正则化优化了多项式的拟合，泛化程度较好；但随着 λ 不断增长，多项式对数据的拟合也会愈来愈差。经过这个图像，就能够找出最佳拟合的位置。

ps. 本篇文章是根据吴恩达机器学习课程整理的学习笔记。若是想要一块儿学习机器学习，能够关注微信公众号「SuperFeng」，期待与你的相遇。