Coursera-吴恩达机器学习课程笔记-Week2

参考资料：
吴恩达教授机器学习课程
机器学习课程中文笔记

Week2

一. 多变量线性回归(Linear Regression with Multiple Variables)

多变量就时当一个example里有n个特征的状况，将n个特征统一到一个matrix里去看做总体。
多变量线性回归仍是先出cost function，而后用梯度降低算法/正规方程法使cost function最小化

特征的选择

多变量线性回归中有不少特征，选择合适的特征很重要，下面是常见的可用特征：

1. training set中原始特征中选择合适的

2. 由多个特征合成的一个新特征(例如：长度*宽度=面积，面积做为新特征)

3. 运算后的特征，如x: x²，x^1/2

特征缩放 feature scaling

面对多维特征问题的时候，在对代价函数使用梯度降低算法前要对特征进行一些处理。保证这些特征都具备相近的尺度，这将帮助梯度降低算法更快地收敛。

将training set中的同一特征值进行scaling处理，用下面公式：(x-平均值)/(最大值-最小值)范围 能够将全部的这一特征值控制在-0.5<=x<=0.5,方便进行梯度降低

学习率的选择

梯度降低算法的每次迭代受到学习率的影响，若是学习率太小，则达到收敛所需的迭代次数会很是高；若是学习率过大，每次迭代可能不会减少代价函数，可能会越过局部最小值致使没法收敛。

一般能够考虑尝试些学习率：0.01，0.03，0.1，0.3，1，3

正规方程

将cost function最小化除了用梯度降低还能够用正规方程。正规方程法不须要学习率，不须要特征缩放，能够直接一次计算出：

只要特征变量的数目并不大，标准方程是一个很好的计算参数的替代方法。具体地说，只要特征变量数量小于一万，我一般使用标准方程法，而不使用梯度降低法。

注意：有些时候对于某些模型不能使用正规方程而只能用梯度降低。