吴恩达机器学习系列8：逻辑回归的代价函数

还记得咱们原来在线性回归中学过的代价函数吗？

咱们把黄色部分用函数的形式来表示：

若是咱们在逻辑回归中也用这个代价函数去拟合参数行不行呢？答案是不行。由于这个代价函数在逻辑回归中的图像是这个样子的：

这是一个非凸函数，有多个局部最优解，运用梯度降低算法并不会收敛到它的全局最优解，这样就达不到咱们预期的效果。那该怎么办呢？让咱们来学习逻辑回归中的代价函数吧。

逻辑回归的代价函数是这样的：

让咱们具体的看一下它的工做原理。

当 y = 1 时，Cost(hθ(x), y) 函数的图像是一个对数函数，以下：

其中 hθ (x)  是咱们预测的值，它的范围在 [0, 1] 区间。当咱们预测值 hθ (x)  =1 时，此时与真实值 y 相同，预测正确，那么它的代价值就为 0；当咱们预测值 hθ (x)  = 0 时，此时与真实值 y = 1 偏偏相反，预测错误，那么这个代价就是无穷大的（是否是很直观形象呢）。

当 y = 0 时 Cost(hθ (x), y) 的图像以下，其工做原理与 y = 1 相同。能够本身思考一遍这个过程。

上面代价函数的书写形式是一个分段函数，咱们能够简化一下这个代价函数：

这个形式与上面那个等价。

咱们如何自动地去拟合参数 θ 呢？你是否是想到了咱们以前在线性回归中学到的减少代价函数去拟合参数 θ 的方法——梯度降低。在逻辑回归中，咱们依然能够运用这个方法。

与以前线性回归不一样的是，这里的 hθ (x) 变成了逻辑回归算法的假设函数 hθ  (x)  。

ps. 本篇文章是根据吴恩达机器学习课程整理的学习笔记。若是想要一块儿学习机器学习，能够关注微信公众号「SuperFeng」，期待与你的相遇。