机器学习（6）：吴恩达笔记

• 咱们前边学习了线性回归和逻辑回归，可是将其应用到实际中可能产生过拟合，下边咱们来看下如何解决过拟合问题

何为过拟合

• 咱们仍然以房价预测的例子来看线性回归中的过拟合：

（1）若咱们用直线去拟合数据，显然是很差的，由于房价随着面积的增大逐渐平缓，和直线的趋势不符。这种状况叫作欠拟合（高误差），假设函数连训练集数据都没有很好地拟合
（2）若使用二次函数拟合，则刚恰好
（3）若使用四次多项式拟合数据，这样看上去对训练数据作了很是好的拟合，通过了全部的点。可是这条假设函数为了想方设法的拟合训练数据，用了过多的函数变量，并且是扭曲的，不能很好地泛化到新的数据中（泛化：一个假设模型应用到新样本数据中的能力）。这就叫过拟合

• 下边咱们用二分类的例子看一下逻辑回归中的过拟合：

• 后边，咱们会讨论如何调试和诊断，来找出致使学习算法故障的东西；以及如何用专门的工具来识别过拟合和欠拟合，下边咱们先看下如何解决过拟合问题

解决过拟合的方法

• 一般，过拟合是因为特征变量多，数据数量少形成的。所以，咱们能够经过减小变量数量解决过拟合问题，即舍弃一部分变量。后边的模型选择算法，就是自动的保留舍弃变量。可是，舍弃变量，每每意味着舍弃了问题的一部分信息
• 所以，目前最好用的方法是正则化。正则化能保留全部的特征变量

正则化的代价函数

• 咱们先经过例子来直观的理解下正则化。以房价预测为例，咱们要解决过拟合问题的话，就要惩罚参数三、4，让三、4尽量的小。咱们能够经过在代价函数后添加一个数（1000是随便找的比较大的数）乘三、4的平方项。这样为了让代价函数尽量小，咱们就会让三、4尽量小；当三、4接近0时，咱们能够忽略这两个数，就获得了近似二次的函数

• 这就是正则化背后的思路。经过给某些参数较小值，获得形式更为简单的函数，就不易发生过拟合了。可是，在有上百个特征的线性回归中，咱们不知道哪些参数和结果的关联度小，就无法选择参数让他们变小。因此，咱们惩罚除了参数0以外的全部参数，添加他们的正则化项，缩小全部的参数
• 要注意的是，首先，咱们不知道为什么缩小全部参数能像房价预测只缩小高阶项参数那样避免过拟合，但这是一个事实，咱们只能接受；其次，不惩罚参数0只是咱们的习惯，实际上加不加上结果差别很小，咱们只是出于管理不加上

正则化参数

• 加入正则化参数后的代价函数有两个目标：

（1）想要假设函数更好地拟合训练集数据
（2）要参数值尽量的小

咱们的正则化参数就须要平衡二者

• 若咱们的正则化参数值很大，将参数都惩罚到了接近0，就成了欠拟合；若正则化参数小，参数值基本不受影响，就容易变成过拟合
• 所以咱们要适当的选择正则化参数。后边咱们会谈到用多重选择的方法选择正则化参数

逻辑回归的正则化没字幕

...