从零开始机器学习003-逻辑回归算法

老师的课程
1.从零开始进行机器学习
2.机器学习数学基础(根据学生需求不断更新)
3.机器学习Python基础
4.最适合程序员的方式学习TensorFlow

问：逻辑回归是解决回归的问题吗？
答：不是，逻辑回归解决的是分类问题。

1、逻辑回归概念

面对一个回归或者分类问题，创建代价函数，而后经过优化方法迭代求解出最优的模型参数，而后测试验证咱们这个求解的模型的好坏。
Logistic回归虽然名字里带“回归”，可是它其实是一种分类方法，主要用于两分类问题（即输出只有两种，分别表明两个类别）
是什么手段让逻辑回归只能输出两种值呢？答：Sigmoid函数。

2、Sigmoid函数

Logistic函数（或称为Sigmoid函数），函数形式为

其中e表明着常数 2.71828......
经过下面的图形能够看到，把任意一个z带入到Sigmoid函数中，都会获得一个(0,1)之间的值。那么咱们可否把(0,1)之间的值想成是 0-100%的一个几率值呢？咱们把几率小于50%的分为不易发生的一类。把剩余的分为另一类。这样就产生了两个类别。达到分类的目的。这个就是逻辑回归做为分类的理论依据。

3、断定条件(分类的那条线)

对多元线性回归方程求Sigmoid函数hθ(x)=g(θ0+θ1x1+...+θnxn)，找到一组θ，假设获得−3+x1+x2=0的直线，把样本分红两类。把(1,1)代入g函数，几率值<0.5，就断定为负样本。这条直线就是断定边界，以下图：

这条线就是线性回归函数，换句话说，参数z就是一个线性回归函数。
所以逻辑回归函数的表达式以下：

4、代价函数

逻辑回归方法主要是用最大似然估计来学习的，因此单个样本的后验几率为：

整个样本的后验几率就是：

5、最终运用梯度降低求解：