机器学习笔记2-单变量线性回归

1.模型描述：

1.1监督学习 Supervised Learning：

given the right answer for each example in the data.
对于每一个数据集中的样例都有一我的为给出的正确答案。

1.2回归问题 Regression problem：

predict real-valued output.
预测实际值的输出。
ps：回归问题这个从字面意思上我总是会记错它是干吗的，能够这样联想记忆，函数是一个线性模型，就是一条线，咱们要让新的值，回归到这条线上面。就是预测一个新的值是 否在这个模型上，就是预测值是否会回归到这条线上，这样可能就记住了回归是预测实际值的输出。

1.3分类问题 Classification problem：

predict discrete-valued output.
预测离散值的输出。

1.4训练过程：

根据训练集学习出一个学习算法，也就是一个函数，而后经过输入新数据来预测新的值。 只有一个变量的线性回归叫作单变量线性回归。

2.代价函数：

We can measure the accuracy of our hypothesis function by using a cost function . This takes an average difference (actually a fancier version of an average) of all the results of the hypothesis with inputs from x's and the actual output y's.
咱们可使用代价函数来衡量假设函数的准确性。这将假设的全部结果与x的输入和实际输出y的平均值进行平均差（其实是平均值的简化形式）。 ps：1.对于单变量的线性回归来讲，h(x)= Θ0 + Θ1*x，两个变量能够根据训练集的数据得出不少组值，可是只有一组值是最好的。因此要怎么衡量哪一组Θ是最好的，就须要使用代价函数， 代价函数的公式和方差标准差有点像。使用x1计算出来的h(x1)和训练集的y1的差值的平方，这里是计算当前h(x)和实际的差距，而后在除以2m（m是样本的数据），将数据平均化。
2.代价函数由于是平方的1/2m，因此永远是一个正数 若是将代价函数的全部可能的取值画出来，单变量线性回归的状况下会是一个碗的形状，那么碗的底部的中心就是全局的最优解，就是最小的那个代价函数。

3.梯度降低：

先看下梯度降低的定义：

梯度降低是一种算法， 用来找到代价函数的最小值。 1.任意从一点的Θ0，Θ1开始
2.让 $（Θ0，Θ1）$慢慢减少，直到找到最小值的代价函数。
ps： 1.形象的例子就是想象代价函数就是一座山，站在山的某一点去往山下，作法就是先往山上看一圈，往山下的方向走一小步，走完一步，再下一步用相同的方式再走下一步。
2.从代价函数的值始终是正数咱们知道,而后α是小于等于1, 是学习率α乘以J(θ0,θ1)对θ1的偏导数，当斜率是正数的时候，θ0或者θ1就会往左边降低，当斜率是负数的时候，θ0或者θ1就会往右边降低。这样就保证了无论斜率是正向仍是负向都是 往局部最低点去靠近。 3.对于θ0,θ1是要同时更新的，能够看图片中正确和错误的作法。若是是后者实际上是拿了已经变动的θ0在去更新θ1，这个时候值就不是同步更新的，最后获得的就可能不是最小值。 4.从不一样的初始值，就是任意一点的(θ0,θ1)开始，可能会去往不一样的局部最小值。 5.若是步长过小，会致使梯度降低比较慢，要计算不少次才能找到最小值（可是这个影响其实比较小）。若是步长较大，可能会出现收敛失败或者甚至是发散的结果。

6.若是初始点就是在局部的最优解上面，因此偏导数会是0，因此按照公式计算θ1 = θ1 - 0。值就是原来的值因此不会继续往下降低。

4.线性回归的梯度降低:

将上文学习到的代价函数和梯度降低进行公式合并，就能够推导出来一个新的公式。

因此线性回归的梯度降低公式就是：

5.总结：

1.学习了监督学习，回归问题，分类问题的一些做用和定义；
2.学习了代价函数和梯度降低算法，并将二者的公式组合在一块儿生成了一个新的线性回归的提低降低的算法公式；
3.复习了之前学习的一些数学知识，偏导数，斜率的含义等，特别是在推导公式的时候。