吴恩达机器学习系列7：逻辑回归

大家有没有天天被垃圾短信骚扰的经历呢？假设我收到了一条短信，这条短信对我来讲只有两种状况，要么是对我有用的，要么是没用的。我想经过一个模型去预测该短信是否为垃圾短信，这时候用原来学过的线性回归算法就不太好用了，由于结果只有两种值，要么是垃圾短信（假设为 1），要么不是垃圾短信（假设为 0）。这时候咱们要学习一种新的算法去预测这种分类问题，它就是逻辑回归算法（Logistic Regression）。逻辑回归是一种分类算法。

让咱们来看一下逻辑回归算法，逻辑回归算法的假设函数 hθ(x) 由如下表达式组成：

其中g(z) 称为逻辑函数（Logistic Function），又称为 Sigmoid Function。g(z) 的函数图像为：

对于逻辑回归算法的假设函数 hθ(x) 能够这样理解，对于给定的参数 θ ，一组数据（x, y），经过 x 去预测 y = 1  的几率有多大，或 y = 0 的几率有多大。若是要写成表达式，以下：

y 只有两种可能性，要么为 0，要么为 1，所以经过 x 去预测 y = 1 和 y = 0 的几率之和为 1。 

让咱们回到 g(z) 的函数图像，当 z > 0 时，g(z) > 0.5 ，y =1 几率比 y = 0 的几率大，咱们就能够假设 y =1。当 z < 0 时，g(z) < 0.5 ，y =1 几率比 y = 0 的几率小，咱们就能够假设 y = 0。那么预测 y 的值所有取决于 z 的值。举个例子来讲，假设我有如下数据集：

我想要对该数据集进行分类，那么假设函数 hθ(x) 为：

当我给定参数向量的值为 θ = [-3 1 1] ，那么 z = -3 + x_1  + x_2  ，如今就变成当  -3 + x_1  + x_2  > 0 时 y = 1。咱们能够在画出  -3 + x_1  + x_2  =  0 这条直线：

这条直线划分的两个范围，就是 y = 0 和 y = 1 的范围，这条直线就叫作决策边界（Decision Boundary）。决策边界只与参数 θ 有关。

ps. 本篇文章是根据吴恩达机器学习课程整理的学习笔记。若是想要一块儿学习机器学习，能够关注微信公众号「SuperFeng」，期待与你的相遇。