机器学习笔记4-多元梯度降低法

1.多特征

2.多元特征降低法

3.多元特征降低法-特征缩放

有多个变量来求全局最优解的时候，若是变量的取值范围很是不同，会使得等高线图变得扁平，好比图中的房屋尺寸和房间数量，一个是0-2000另一个是1-5，会致使求全局最优解变得很慢，要花很长时间来计算。
因此这里要把特征的范围缩小到比较相近的范围，好比x1/2000，x2/5,这样x1和x2都的范围是[0,1],使等高线的图看起来比较圆，会更快的找到全局最优解。

均值归一化 mean normalization: μ1是x1的平均值，s1是x1的取值范围，通常就是x1的最大值减去x1的最小值。上面就是使用特征缩放的介绍，使用这个方法能够大大减小收敛的数，提升计算的效率。

4.多元特征降低法-学习率

梯度降低中的学习率α，该怎么选择是这一节要讨论的问题。

当上一次的迭代出来的结果和当前迭代的结果差值不超过10的-3次幂，基本认为是已经收敛了，没有必要继续迭代了。可是实际状况中，有的算法 30次迭代就收敛了，有的可能须要三百万次才能迭代收敛，取决于不一样的场景和算法。这个迭代次数和何时中止是很难肯定的。

总结：

1.若是学习率过小，会致使收敛得很慢。
2.若是学习率太大，代价函数可能不是每次都会降低，可能不收敛。

因此为了找到比较正确的学习率，最好画出代价函数的图形，根据图形来判断学习率的选择。吴恩达老师每次使用3倍的增长学习率，会找到最大和最小的学习率，最后找到的值多是比最大的学习率稍微小一点的值。

5.特征和多项式回归

像上图中的例子，若是对线性方程很熟悉就会想到用平方根的函数来拟合。因此多项式的回归没有固定的方法，熟悉以后能够用各类方式来拟合出方程。

#6.正规方程（区别于迭代方法的直接解法） 正规方程：x的转置乘以x的结果的逆，乘以x的转置，乘以y就能够获得θ的值。(没有讲述怎么得来的这个方程，计算就完事了) 正规方程不须要使用特征缩放，能够直接经过计算得出结果。

正规方程和梯度降低的优缺点对比：

1.正规方程优势在于不用选择学习率，不须要迭代计算。缺点在于没法进行n太大的状况的计算，由于正规方程时间复杂度是O(n^3)，因此复杂度过高了，计算耗时很长，通常当n的值大于一万就不要用正规方程了。 2.梯度降低的优势在于能够计算很大的n的状况，并且工做得也特别好，可是肯定是要选择一个学习率阿尔法，并且须要不停的迭代计算。

7.正规方程（在矩阵不可逆的状况下的解法）

矩阵通常不会出现不可逆的状况，若是真的出现了可使用如下的方式来解决： 1.检查参数是否是有固定关系的特征，好比x1是平方米，x2是平方英尺，那么这两个的函数只有固定的换算关系的，可能会致使正规方程不可逆，这时候要检查特征去掉重复的 2.若是有很是多个特征，致使矩阵不可逆，要删除一些特征在计算