机器学习公开课笔记第三周，逻辑回归

1，逻辑回归(Logistic Regression)

监督学习除了线性回归以外，还有逻辑回归(Logistic Regression)，也叫分类(Classifycation)

分类问题输入和线性回归问题同样，不过它的输出是离散值。

咱们先来学习简单二元分类（输出值只有0和1）

问题就是给定n个特征值Xi，输出它的类别0或1.

由于输出只有0和1，线性回归的假设函数就不适合，须要找一种输出值是0到1的函数，可使用S函数(Sigmoid Function)，也叫逻辑函数(Logistic Function)代替咱们的假设函数

\(h_{\theta}(x)= g(\theta ^{T}x)\)

\(z= \theta ^{T}x\)

\(g(z)= \frac{1}{1 + e^{-z}}\)

  \(h_{\theta}(x) = g(z)\)

\(g(z)\)函数图以下所示

能够发现0<=\(g(z) = h_{\theta}(x)\)<=1，符合咱们的条件，咱们能够对半分，根据h_θ(x)更靠近0仍是1来分类

h_θ(x)≥0.5→y=1

h_θ(x)<0.5→y=0

或者解释h_θ(x)为类1的几率，那么获得以下公式

h_θ(x)=P(y=1|x;θ)=1−P(y=0|x;θ)

P(y=0|x;θ)+P(y=1|x;θ)=1

 

\(z=0\)
\(e^{0}=1 \Rightarrow g(z)=1/2 \)
\(z \to \infty, e^{-\infty} \to 0 \Rightarrow g(z)=1 \)
\(z \to -\infty, e^{\infty}\to \infty \Rightarrow g(z)=0 \)

 

\(y=1\rightarrow h_{\theta}(x) \geq 0.5 \rightarrow h_{\theta}(x)= \frac{1}{1 + e^{-z}} \geq 0.5\rightarrow \frac{e^{z}}{e^{z} + 1} \geq 0.5\rightarrow \frac{e^{\theta^{T} x}}{e^{\theta^{T} x} + 1} \geq 0.5 \rightarrow \theta^{T} x \geq 0\)

 \(y=0 \rightarrow \theta^{T} x < 0\)  

z = 0也称为决策边界(Decision Boundary)，是分隔0和1的界线

 

还有多是非线性多项式的决策边界

 

2，代价函数(Cost Function)

若是使用相似线性回归的代价函数，在使用梯度降低法的时候，随着\( \theta \)减少，代价函数会出现多个局部最小值，并不能达到全局最小值，是非凸函数，须要另外选代价函数，能够选择以下代价函数

当y=1和0时的代价函数Cost图像以下

 

 不管y=0仍是1，h_θ(x)都是与y越接近越小，越远越大，符合代价函数的最初定义

y=0和1合并可得单个样例的代价函数

全部样例的代价函数

 

改为向量形式

梯度降低法求偏导后

最后结果的公式和线性回归如出一辙，除了假设函数h_θ(x)

 

3,咱们能够用Octave内部已经集成好的算法，如"Conjugate gradient", "BFGS", and "L-BFGS"，来求线性回归和逻辑回归，这些比梯度降低法快的多，并且还不须要选择学习速率α

只须要写一个求代价函数cost的函数

，再调用 fminunc(@costFunction, initialTheta, options)

 

4，多元分类

当类别为n(>=3)个时，咱们能够把它当作n个2元分类问题，取几率最大的h_θ(x)

 

 5，解决过分拟合问题

 

第一幅图是欠拟合(Underfittting)，也可叫作高误差(High Bias)，特征太少，没法经过仅有的几个特征模拟线性回归模型

第二幅图是正好，特征正好

第三幅图过分拟合(Overfitting)，也可叫作高方差(High Variance)，特征太多，构建的模型不只仅模拟了原有的回归模型，还多出了本来模型不具有的特征

解决过分拟合有两种方法

1) 减小特征值

• 手动去除特征值
• 构建特征选择算法

2) 正则化

• 保留全部特征，减少参数θ
• 每个特征都对线性模型有细微的影响

6，正则化

当咱们有以下假设函数时

能够经过加入λθ_j²来下降θ_j

至关于惩罚θ_j

完整正则化公式 ，λ也叫正则参数，后面并有没有θ₀

 

 线性回归模型的梯度降低迭代法的正则表达式

移项获得

由于α*λ/m小于1，因此至关于θj减去一个常值，后面就和裸的的线性回归模型同样了

 正规方程（Normal Equation）经过以下正则化

当m<=n，加了λ⋅L以后，X^TX + λ⋅就可逆了

同理可得，逻辑回归的过分拟合，代价函数和正则化