[斯坦福大学2014机器学习教程笔记]第二章-代价函数的数学定义

    在这节，咱们将定义代价函数的概念，这有助于咱们弄清楚怎么样将最有可能的直线与数据相拟合。

    下面咱们看一个例子。

    在线性回归中，咱们有这样一个训练集。根据上一节的定义，咱们知道m=47，而咱们的假设函数的函数形式为 h_θ(x)=θ₀+θ₁x。这些θ_i被称为模型参数。而咱们要作的就是如何选择这两个参数值θ₀和θ₁。选择不一样的θ₀和θ₁，咱们会获得不一样的假设函数（以下图）。

    在线性回归中，咱们有一个训练集，咱们要得出θ₀和θ₁这两个参数值，来得出假设函数所表示的直线，这个直线要尽可能地与这些数据点很好的拟合，也许以下图这条直线同样。

                                            

    那么，咱们怎么得出θ₀和θ₁的值呢？怎么使得出的直线很好地拟合数据呢？

    咱们的想法是：咱们要选择输入x时咱们预测的值最接近该样本对应的y值的参数θ₀和θ₁。因此，在咱们的训练集中咱们会获得必定数量的样本。在以前的例子中，咱们知道x表示卖出那所房子并知道这所房子的实际卖出价格。因此咱们要尽可能选择参数值使得咱们可以合理准确预测y的值。

    在线性回归中，咱们要解决的是一个最小化的问题。因此我要写出关于θ₀和θ₁的最小化，并且我但愿h(x)-y这个式子的值要尽可能小，即我要作的事情就是尽可能减小假设输出的价格与房子真实的价格之间的差的平方。

    我想要作的事是对i=1到i=m的样本，将对假设进行预测获得的结果减去实际价格所获得的差的平方相加（即Σ(h_θ(xⁱ)-yⁱ)²）。也就是预测值和实际值的差的平方偏差和或者说预测价格和。我但愿尽可能减小这个值。实际上咱们考虑的是(1/m)Σ(h_θ(xⁱ)-yⁱ)²即平均偏差。前面这些只是为了是数学更直白一些，所以对这个求和值的二分之一求最小值。

    实际上，咱们的目标是求出θ₀和θ₁的值使(1/2m)Σ(h_θ(xⁱ)-yⁱ)²最小。所以，咱们线性回归的代价函数为J(θ₀,θ₁)=(1/2m)Σ(h_θ(xⁱ)-yⁱ)²。咱们想要作的就是关于θ₀和θ₁对函数J(θ₀，θ₁)求最小值。

    代价函数也被称为平方偏差函数，有时也被称为平方偏差代价函数。事实上咱们之因此要求出偏差的平方和，是由于偏差平方代价函数对大多数问题，特别是回归问题都是一个合理的选择。