吴恩达机器学习笔记（7）——过拟合和正则化

时间 2020-12-27

1. Overfitting

过拟合定义：如果有太多特征，那么假设函数也许会对训练集拟合的相当完美（代价函数几乎为0），但是不能很好地泛化到新的例子中。

下面是一个logistic regression的过拟合的例子：

如何来解决过拟合的问题呢？下面给出了两种方法：

第一种方法是在特征的数量上做出一些改变，甚至可以结合一些模型选择算法；第二种方法就是下面要讲的正则化。

前面介绍了过拟合的问题，那么正则化的主要作用就是用来降低过拟合的程度以达到较好的拟合效果。

举个例子：

如果想要使这个函数值尽可能小，那么显然我们必须将θ3和θ4的值设置的非常小，才能达到最小值的要求。也就是在式中额外设置了两项来降低θ3和θ4的取值，这就是正则化的思想。

因而，我们可以在代价函数的表达式中加入多的一项：

其中λ是正则化参数，且其中j是从1开始的，也就是说θ0不受影响。式中这一项的作用是缩小每一项参数（θ0除外，θ0不与特征相乘），因而会使我们的拟合曲线变得更加平滑（smooth）。同时，如果正则化参数λ取得太大，则会使参数缩小的倍率太大，导致欠拟合。