机器学习分享——逻辑回归推导以及 numpy 的实现

时间 2019-12-06

标签机器学习分享逻辑回归推导以及 numpy 实现繁體版

原文原文链接

逻辑回归基本概念

什么是逻辑回归？逻辑回归就是这样的一个过程：面对一个回归或者分类问题，创建代价函数，而后经过优化方法迭代求解出最优的模型参数，而后测试验证咱们这个求解的模型的好坏。算法

Logistic 回归虽然名字里带“回归”，可是它其实是一种分类方法，主要用于两分类问题（即输出只有两种，分别表明两个类别）函数

回归模型中，y是一个定性变量，好比y=0或1，logistic方法主要应用于研究某些事件发生的几率测试

概念解释优化

`Logistic Regression`推导过程

它的表达式是:人工智能

f(x) = \frac{1}{1 + e^{-\theta}}

\theta = WX + B

能够发现，通过sigmoid函数转换后, 输出值是在[0, 1]之间，能够认为输出是几率，下面就来详细的推导：spa

推导

为了计算方便, 咱们只讨论二分类..net

首先, 逻辑回归进行了一个假设，两个类别都服从均值不一样，方差相同(方便推导)的高斯分布3d

p(y|x=0) = \mu(\mu_0, \sigma)

p(y|x=1) = \mu(\mu_1, \sigma)

高斯分布是比较容易处理的分布，根据中心极限定理也知道，最终会收敛于高斯分布。从信息论的角度上看，当均值和方差已知时（尽管你并不知道确切的均值和方差，可是根据几率论，当样本量足够大时，样本均值和方差以几率1趋向于均值和方差），高斯分布是熵最大的分布，为何要熵最大？由于最大熵的分布能够平摊你的风险（同一个值会有两个点能够取到, 不肯定性很大），这就比如不要把鸡蛋放到同一个篮子里，想一想二分查找中，为何每次都是选取中间点做为查找点？就是为了平摊风险（假设方差相等只是为了计算方便）。code

风险cdn

Risk(y=0|x) = \lambda_{00}P(y=0|x) + \lambda_{01}P(y = 1|x)

Risk(y=1|x) = \lambda_{10}P(y=0|x) + \lambda_{11}P(y = 1|x)

其中，是把样本预测为0时的风险，是把样本预测为1时的风险， $λ_{ij}$ 是样本实际标签为j时，却把它预测为i是所带来的风险。

咱们认为预测正确并不会带来风险，所以 $λ_{00}$ 和 $λ_{11}$ 都为0，此外，咱们认为当标签为0而预测为1 和当标签为1而预测为0，这二者所带来的风险是相等的，所以 $λ_{10}$ 和 $λ_{01}$ 相等，方便起见，咱们记为λ。但在一些领域里，好比医学、风控等，这些λ在大多数状况下是不相等的，有时候咱们会选择“宁肯错杀一一千也不能放过一个”;

那么咱们简化后的表达式:

Risk(y=0|x) = \lambda P(y = 1|x)

Risk(y=1|x) = \lambda P(y=0|x)

根据最小化风险的原则，咱们一般会选择风险较小的。

好比:

Risk(y=0|x) < Risk(y=1|x)

这就说明了预测为第0类的风险小于预测为第1类的风险。

能够获得：

\frac{Risk(y=0|x)}{Risk(y=1|x)} < 1

\frac{P(y = 1|x)}{P(y=0|x)} < 1

就是说明预测第1类的几率小于第0类的几率。

咱们对不等式两边分别取对数

log\frac{{P(y = 1|x)}}{{P(y=0|x)}} < 0

根据贝叶斯公式：

log\frac{P(x|y = 1)p(y=1)}{P(x|y=0)p(y=0)} < 0

log\frac{P(x|y = 1)}{P(x|y=0)} + log\frac{p(y=1)}{p(y=0)} < 0

咱们开始假设过，两个类别分别服从均值不等，方差相等的高斯分布，根据高斯分布的公式有：

高斯分布

g(x) = \frac{1}{2\pi\sigma}e^{-\frac{(x - \mu)^2}{2\sigma^2}}

忽略常数项（方差也是相等的）

log\frac{P(x|y = 1)}{P(x|y=0)} + loge^{(\frac{(x - \mu_0)^2}{2\sigma^2} - \frac{(x - \mu_1)^2}{2\sigma^2})}

log\frac{P(x|y = 1)}{P(x|y=0)} + (\frac{(x - \mu_0)^2}{2\sigma^2} - \frac{(x - \mu_1)^2}{2\sigma^2}) < 0

log\frac{P(x|y = 1)}{P(x|y=0)} < \frac{(x - \mu_1)^2}{2\sigma^2} - \frac{(x - \mu_0)^2}{2\sigma^2}

log\frac{P(x|y = 1)}{P(x|y=0)} < \frac{\mu_0}{\sigma^2}x - \frac{\mu_1}{\sigma^2}x + C

C是常熟，可使用矩阵的表示。

log\frac{P(x|y = 1)}{P(x|y=0)} < \theta{X}

详细推导

对值取幂，以及等式取等号计算。

\frac{P(y=1|x)}{P(y=0|x)} = e^{\theta x}

= \frac{P(y=1|x)}{1 - P(y=1|x)} = e^{\theta x}

= \frac{1 - P(y=1|x)}{P(y=1|x)} = e^{-\theta x}

= \frac{1}{P(y=1|x)} - 1 = e^{-\theta x}

= \frac{1}{P(y=1|x)} = e^{-\theta x} + 1

= P(y=1|x) = \frac{1}{e^{-\theta x} + 1}

如下是实现的一些截图

优化咱们采用梯度降低算法

交叉熵损失函数

最终效果

电脑端查看完整代码

———————————— Mo （网址：momodel.cn ）是一个支持 Python 的人工智能建模平台，能帮助你快速开发训练并部署 AI 应用。期待你的加入。

相关文章

相关标签/搜索

Python学习分享

浏览器信息

Docker命令大全

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。

最新文章

本站公众号

欢迎关注本站公众号,获取更多信息

相关文章

>>更多相关文章<<