【机器学习】线性回归模型+梯度降低法大全解（满满干货）

一，
二，引用例子
经过俄勒冈州波特兰市的城市住房价格的数据。
咱们根据不一样的房子大小size以及对应的不一样售价组成的数据集来画图。
以下。
咱们须要预测房子size是1250平方尺对应的房价是多少。
咱们知道这是一个监督学习，由于有准确的输出答案。同时这个也是回归问题，也就是咱们预测一个具体的数值的输出。

size in feets^2(x)	Price in 1000’s(y)
2104	460
1416	232

三，模型创建

其中h是假设函数。
（1）接下来中的设计学习算法任务中，咱们须要作的是决定怎么表示这个假设函数h。参考文档

Gamma公式展现 $\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N$ 是经过 Euler integral

$h_{\theta }(x)=\theta_{0}+\theta_1* x$
明显，咱们须要作的是预测y是一个关于x的线性函数。
以上所创建的模型是一元线性回归模型（单变量线性回归模型）。
$\theta_{i}是模型参数$
（2）经过训练集肯定模型参数
为了尽可能将使得训练集中的x经过假设函数h预测出来的y很是接近实际的训练集数据，这个问题就是须要咱们解决线性回归中的最小化问题。咱们须要 $（h_{\theta }(x)-y）^2$
无限趋近0。
因此，对于整个训练集，咱们须要使得
$\mathop{minmize}\limits_{\theta_0,\theta_1} \frac{1}{2m}\sum_{i=1}^m （h_{\theta }(x^{(i)})-y^{(i)}）^2$
尽量小。
此时，例子中的问题已经转化成寻找我训练集中预测值和真实值的差的平方的和的1/2m 最小的 $\theta_1 和\theta_2$
（3）代价函数 （cost function)（平方偏差函数）（平方偏差代价函数）
$J（\theta_1,\theta_2)= \frac{1}{2m}\sum_{i=1}^m （h_{\theta }(x_i)-y_i）^2$
$咱们须要作的是关于\theta_1 \theta_2 对函数J（\theta_1,\theta_2)= \frac{1}{2m}\sum_{i=1}^m （h_{\theta }(x^{(i)})-y^{(i)}）^2求最小值$

四，经过等高线来展现代价函数

咱们知道，代价函数 $J（\theta_1,\theta_2)= \frac{1}{2m}\sum_{i=1}^m （h_{\theta }(x_i)-y_i）^2$$是严格意义上的凸函数，也就是存在惟一一个全局最小值，较小的学习率和足够的的迭代次数。当咱们找到等高图中J的最小值对应的 $\theta_1,\theta_2$的值，就是肯定了线性回归模型中的两个模型参数。

五，梯度降低法（算法优化）解决无约束优化问题