机器学习笔记第2周

第2课 Multivariate Linear Regression 多元线性回归算法

特征缩放（feature scaling）：通常把xi缩放到-1到1的范围内函数

均值归一化（mean normalization）：减去平均值再除范围（最大值与最小值之差）
学习

肯定梯度降低是否正常工做：画出J(θ)根据梯度降低迭代次数的变化图，看是不是递减的。也可根据降低幅度来判断是否已收敛spa

若是J(θ)非递减，则α过大。若是α太小，太慢。
3d

如何选择学习率α：尝试一系列α，选择最大值，或比最大值稍小的一个合适值。如间隔3倍：…0.001，0.003，0.01，0.03，0.1，0.3，1，…orm

特征选择：如房价预测，不要选长宽两个特征，把它们合成一个特征：面积。blog

多项式回归：用x1,x2,x3代替x,x^2,x^3，化为线性回归（特征缩放很是重要）：io

模型选择：以面积预测房价为例，不该该用二次模型，由于二次模型是抛物线形状，涨到必定程度后会降低。这时，除了三次模型外，还能够用平方根模型，一样能够知足条件：方法

第2课 Computing Parameters Analytically
im

1.正规方程：不用梯度降低，用求导的方法直接一次求得θ

用矩阵的方法，例：

梯度降低与正规方程优缺点比较：

梯度降低：优势：当n（特征个数）很是大时也能好好地工做

    缺点：须要选择合适的α；须要屡次迭代

正规方程：优势：不用选择α，不用迭代

    缺点：须要计算XTX的逆（O(n^3)），当n（特征个数）很是大时速度很慢

若是n<10000用正规方程，n为10000左右时需考虑，n远大于10000时，用梯度降低

一些复杂的算法，如分类算法，像逻辑回归算法（之后讲），并不能用正规方程的方法，只能用梯度降低法

2.正规方程的可逆性

若是XTX不可逆。

Octave中有两个求逆函数：pinv和inv，其中pinv是伪逆函数，即便不可逆，也能求出结果

XTX不可逆一般有两个缘由：

1.有多余的特征，如以英寸计算的面积和以平方米计算的面积两个重复的特征。解决方法：删除重复的特征

2.特征的数量过多，大于训练集长度（m<=n）。解决方法：删除一些特征，或使用正规化的方法（之后讲）