机器学习基础 - [第三章：逻辑回归]（2）逻辑回归模型的决策边界

1、假设函数的性质

假设在分类问题中，当 $h_{\theta}(x)\ge0.5$hθ​(x)≥0.5时，预测的标签 $y^{&#x27;}=1$y′=1;当 $h_{\theta}(x)&lt;0.5$hθ​(x)<0.5时， $y^{&#x27;}=0$y′=0
根据逻辑函数 $g(z)=h(\theta^{T}x)$g(z)=h(θTx)的性质：
当 $g(z) \ge0.5$g(z)≥0.5时， $z\ge0$z≥0， $\Rightarrow\theta^{T}x\ge0$⇒θTx≥0
当 $g(z) &lt; 0.5$g(z)<0.5时， $z &lt; 0$z<0， $\Rightarrow\theta^{T}x&lt;0$⇒θTx<0
由此：
$\theta^{T}x\ge0$θTx≥0时， $y=1$y=1
当 $\theta^{T}x &lt; 0$θTx<0时， $y=0$y=0

2、决策边界

（1）线性决策边界：
如下图所示，假设函数 $h_{\theta}(x)=g(\theta_{0}+\theta_{1}x+\theta_{2}x)$hθ​(x)=g(θ0​+θ1​x+θ2​x)，即 $\theta^{T}x=\theta_{0}+\theta_{1}x+\theta_{2}x$θTx=θ0​+θ1​x+θ2​x
由第一部分已知：
$\theta^{T}x\ge0$θTx≥0时， $y=1$y=1
$\theta^{T}x &lt; 0$θTx<0时， $y=0$y=0
即 $\theta_{0}+\theta_{1}x+\theta_{2}x\ge0$θ0​+θ1​x+θ2​x≥0时， $y=1$y=1,
$\ \theta_{0}+\theta_{1}x+\theta_{2}x &lt; 0$ θ0​+θ1​x+θ2​x<0时， $y=0$y=0。

令 $\theta_{0}=-3，\theta_{1}=1，\theta_{2}=1$θ0​=−3，θ1​=1，θ2​=1
则最终得到的是：
$-3+x_{1}+x_{2}\ge0$−3+x1​+x2​≥0时， $y=1$y=1,
$-3+x_{1}+x_{2}&lt;0$−3+x1​+x2​<0时， $y=0$y=0。
其中 $-3+x_{1}+x_{2}=0$−3+x1​+x2​=0就称之线性决策边界。

注意：决策函数是假设函数的性质，而与数据无关，训练集不是用来定义参数 $\theta$θ的，而是用来拟合参数 $\theta$θ的，一旦参数确定了，决策边界就确定了。

（2）非线性决策边界
当特征中含有高阶多项式特征时，例如 $x=[x_{1}，x_{2}，x_{1}^{2}，x_{2}^{2}]$x=[x1​，x2​，x12​，x22​]，在给定参数 $\theta$θ的情况下，所形成的决策边界就是非线性的，如下图所示：