机器学习（七）--------机器学习算法选择

得到更多的训练实例——一般是有效的，但代价较大，下面的方法也可能有效，可考虑
先采用下面的几种方法。
1.尝试减小特征的数量
2.尝试得到更多的特征
3.尝试增长多项式特征
4.尝试减小正则化程度𝜇

咱们须要使用交叉
验证集来帮助选择模型。
即：使用 60%的数据做为训练集，使用 20%的数据做为交叉验证集，使用 20%的数据
做为测试集

模型选择的方法为：

1. 使用训练集训练出 10 个模型
2. 用 10 个模型分别对交叉验证集计算得出交叉验证偏差（代价函数的值）
3. 选取代价函数值最小的模型
4. 用步骤 3 中选出的模型对测试集计算得出推广偏差（代价函数的值）

当你运行一个学习算法时，若是这个算法的表现不理想，那么多半是出现两种状况：
要么是误差比较大，要么是方差比较大。换句话说，出现的状况要么是欠拟合，要么是过拟
合问题。

训练集偏差和交叉验证集偏差近似时：误差/欠拟合
交叉验证集偏差远大于训练集偏差时：方差/过拟合

1. 得到更多的训练实例——解决高方差
2. 尝试减小特征的数量——解决高方差
3. 尝试得到更多的特征——解决高误差
4. 尝试增长多项式特征——解决高误差
5. 尝试减小正则化程度 λ——解决高误差
6. 尝试增长正则化程度 λ——解决高方差