数据挖掘从入门到放弃（一）：线性回归和逻辑回归

“ 数据挖掘算法基于线性代数、几率论、信息论推导，深刻进去仍是颇有意思的，可以理解数学家、统计学家、计算机学家的智慧，这个专栏从比较简单的经常使用算法入手，后续研究基于TensorFlow的高级算法，最好可以参与到人脸识别和NLP的实际项目中，作出来必定的效果。”

 

1、理解线性回归模型

首先讲回归模型，回归模型研究的是因变量（目标）和自变量（预测器）之间的关系，因变量能够是连续也能够离散，若是是离散的就是分类问题。思考房价预测模型，咱们能够根据房子的大小、户型、位置、南北通透等自变量预测出房子的售价，这是最简单的回归模型，在初中里面回归表达式通常这样写，其中x是自变量，y是因变量，w是特征矩阵，b是偏置。

在机器学习推导里面引入线性代数的思想，将假设咱们用一个表达式来描述放假预测模型，x表明一个房子的特征集，它是一个n×1的列向量，总共有m个特征集，θ是一个n×1的列向量，是咱们想要求得未知数。

咱们采用偏差最小的策略，好比有预测表达式：y工资=Θ1*学历+Θ2*工做经验+Θ3*技术能力+.......+Θn*x+基本工资，预测的y值和实际值y_存有差距，策略函数就是使得m个特征集的（真实值y-预测值）的平方和最小。（差值多是负数，因此采用平方和）；

按照对于正规方程的求法，咱们对θ 求偏导：

也就是，给定特征矩阵X和因变量y，便可以求使偏差率最小的θ值，知足后续的回归模型。了解线性代数的童靴能够看出来问题，在θ的表达式中有求逆运算，须要保证矩阵可逆，这通常是没法保证的，这样就会形成θ无解，策略失效；

2、计算机的作法：梯度降低

 

常规的方程须要大量的矩阵运算，尤为是矩阵的逆运算，在矩阵很大的状况下，会大大增长计算复杂性。，且正规方程法对矩阵求偏导有必定的局限性（没法保证矩阵可逆），下面介绍梯度降低法，也就是计算机的解决方法，每次走一小步，保证这一小步是最有效的一步，能够想象本身正在下山，你不知道目的地（全局最小值）在哪，可是你可以保证本身每次走的都是最陡峭的一步；

咱们的策略仍然保持不变，就是使得m个特征集的（真实值y-预测值）的平方和最小：

梯度降低法实现：赋予初始θ 值，并根据公式逐步更新θ 使得J(θ) 不断减小，最终至收敛，对应的参数θ 即为解。为了推导方便，首先研究只有一个训练样本时，如何计算推导公式。

θ 的每一个份量更新公式为：

推广到m个训练数据，参数更新公式为：

 

3、逻辑回归模型

 

逻辑回归与线性回归同属广义线性模型，逻辑回归是以线性回归为理论支持，是一个二分类模型，也能够推广多到分类问题，经过Sigmoid函数引入了非线性因素，所以能够轻松处理0/1分类问题，首先介绍一下Sigmoid函数：

sigmoid函数图像是一个S曲线，取值在[0, 1]之间，在远离0的地方函数的值会很快接近0或者1，sigmoid函数的求导特性是：

逻辑回归的预测函数是下图，只是在特征到结果的映射中加入了一层函数映射，先把特征线性求和，而后使用函数g(z)将最为假设函数来预测。g(z)能够将连续值映射到0到1之间：

经过求似然函数，两边取log后，对θ求偏导：

    这样咱们就获得了梯度上升每次迭代的更新方向，那么θ的迭表明达式为：
   

发现同线性回归模型是同一个表达式，这并不只仅是巧合，二者存在深层的联系；

4、回归模型使用

 

数据是2014年5月至2015年5月美国King County的房屋销售价格以及房屋的基本信息。数据分为训练数据和测试数据，分别保存在kc_train.csv和kc_test.csv两个文件中，其中训练数据主要包括10000条记录，14个字段：销售日期,销售价格,卧室数,浴室数,房屋面积,停车面积,楼层数,房屋评分,建筑面积,地下室面积,建筑年份,修复年份,纬度,经度。

数据集地址：https://github.com/yezonggang/house_price，按照流程完成模型创建：

import pandas as pd
from pandas import DataFrame
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
import seaborn as sns
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LinearRegression
# 数据读取
baseUrl="C:\\Users\\71781\\Desktop\\2020\\ML-20200422\\houre_price\\"
house_df=pd.read_csv(baseUrl+'train.csv' )
test_df=pd.read_csv(baseUrl+'test.csv')
house_df.head()

# 删除无关变量
house_df=house_df.drop(['saleTime','year','repairYear','latitude','longitude','buildingSize'],axis=1)
test_df=test_df.drop(['saleTime','year','repairYear','latitude','longitude','buildingSize'],axis=1)

# 模型创建
X_price=house_df.drop(['price'],axis=1)
# X_price.head()
Y_price=house_df['price']
Y_price.head()

LR_reg=LinearRegression()
LR_reg.fit(X_price, Y_price)
Y_pred = LR_reg.predict(test_df)
LR_reg.score(X_price, Y_price)


# 能够选择进行特征缩放
#new_house=house_df.drop(['price'],axis=1)
#from sklearn.preprocessing import MinMaxScaler
#minmax_scaler=MinMaxScaler().fit(new_house)   #进行内部拟合，内部参数会发生变化
#scaler_housing=pd.DataFrame(minmax_scaler.transform(new_house),columns=new_house.columns)

#mm=MinMaxScaler()
#mm.fit(test_df)
#scaler_t=mm.transform(test_df)
#scaler_t=pd.DataFrame(scaler_t,columns=test_df.columns)