吴恩达机器学习笔记-分类问题陈述

以前的文章中咱们讨论过关于线性回归的问题，如今咱们来学习一下，当预测的变量y为离散值时候的分类问题。

分类

下面给出几个分类的例子：

• 邮件： 垃圾邮件、非垃圾邮件；
• 在线交易： 欺诈、非欺诈；
• 肿瘤： 良性（不是恶性）、恶性

很显然这几个例子的结果只有两个，是或者不是。那么咱们能够假设结果yin{0,1}。这里的0咱们能够当作非xx的类型，好比良性肿瘤，而1则能够当作是确认的分类，好比是恶性肿瘤。固然常常咱们遇到的分类问题可能不止是或否两种结果，可能$y\in{0,1,2,3}$。

接下来咱们来用肿瘤是否恶性的例子来看看分类问题，好比下图：

图中的叉号就是咱们的数据样本，横轴为肿瘤大小，纵轴为是否为恶性肿瘤。若是用咱们以前学习的线性回归方程，则能够假设$h_\theta(x) = \theta^Tx$。能够得出图中的倾斜的斜率高一点的那一条直线。为了更好的作出预测，咱们能够设定当$h_\theta(x)>=0.5$时，认为$y=1$,当$h_\theta(x)<0.5$时，认为$y=0$,如此看来，假设咱们在x轴正方向远处还有一点如图中所示，咱们的假设函数也是知足实际状况。但若是咱们的假设函数设置的如图中斜率偏低的那一条呢。很显然和数据集中的数据发生了偏差。因此线性回归在分类问题中并非最适合的方法，并且若是使用线性回归，咱们得出的$h_\theta(x)$是能够大于1或者小于0。而接下来要讨论的logistic分类算法的值域大小是在[0,1]之间的。

假设函数

在线性回归中，咱们的假设函数公式是$h_\theta(x) = \theta^Tx$，那么在分类问题中，咱们定义$h_\theta(x) = g(\theta^Tx)$,这里的函数g的定义为$g(z)=\frac{1}{1-e^{-z}}$,$z=\theta^Tx$,则

$$ h_\theta(x) = \frac{1}{1-e^{-\theta^Tx}} $$

这个函数被称做S型函数（Sigmoid function）或逻辑函数（Logistic function）。函数的图像以下图所示：

横轴为z，纵轴为$g(z)$。显然当z趋向于正无穷时，$g(z)$趋向于1，z趋向于负无穷时，$g(z)$趋向于0。图像在（0，0.5）点于纵轴相交。咱们如今要作的依然是选择合适的参数$\theta$来拟合数据。
这里咱们将$h_\theta(x)$的输出假设为当输入为x时，y=1时的几率。从几率上的角度来描述能够表达为$h_\theta(x) = P(y=1|x;\theta)$。所以咱们能够获得以下公式：

$$ P(y=1|x;\theta) + P(y=0|x;\theta) = 1 \\ P(y=1|x;\theta) = 1 - P(y=0|x;\theta) $$

决策边界(decision boundary)

上述咱们说过，能够假设当$h_\theta(x)>=0.5$时，认为$y=1$,当$h_\theta(x)<0.5$时，认为$y=0$。根据逻辑函数的图像，咱们得知，当z>0时，$h_\theta(x)>=0.5$，则$\theta^Tx>=0$,一样的$h_\theta(x)<0.5$时$\theta^Tx<0$。
这里能够举一个例子，假设$h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2)$中的$\theta_0,\theta_1，\theta_2$分别等于-3，1,1。则$\theta = \begin{bmatrix} -3\\ 1 \\ 1 \end{bmatrix}$,那么y=1时，即表明$h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2) >= 0.5$,即$\theta^Tx = -3+x_1+x_2>=0$,相反y=0时，$\theta^Tx = -3+x_1+x_2<0$,那么咱们能够得出这两个不等式的分界线即$x_1+x_2=3$。

在这条直线的上方表明y=1的部分，下方则表明y=0的部分，而这条直线就被称做决策边界。
下面再继续看一个复杂点的例子，这里额外添加两个特征$x_1^2，x_2^2$。$h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2\theta_3x_1^2+\theta_4x_2^2)$。假定$\theta = \begin{bmatrix} -1\\ 0 \\ 0 \\ 1 \\ 1 \end{bmatrix}$,则可得出若$-1+x_1^2+x_2^2>=0$,则y=1,若$-1+x_1^2+x_2^2<0$,则y=0,那么显然，这里的决策边界的图像是$x_1^2+x_2^2 = 1$。

固然随着假设函数的复杂程度变化，决策边界也会各有不一样。后面咱们将会学习如何自动选择参数$\theta$,使咱们能在给定一个训练集时，根据数据自动拟合参数。

以上，为吴恩达机器学习第三周分类和逻辑回归模型部分笔记。