过拟合: 丧失了泛化能力 泛化能力:一个假设模型应用到新样本的能力
特征过多,训练集数据过少,就容易过拟合。
模型选择算法可以选取特征,但是这个方法容易损失一些特征带有的信息。
正则化思想:每个变量或多或少都有用,我们希望保留所有的特征变量,但是减少量级或者是θ的大小