数据挖掘——回归分析2——简单神经网络的python实现

 

 

神经网络(Artificial Neural Network)：全称为人工神经网络（ANN），是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型。

 

部分原理：

下面是单个神经元的数学模型：

+1表明偏移值(偏置项, Bias Units)；X1,X2,X2表明初始特征；w0,w1,w2,w3表明权重(Weight)，即参数，是 特征的缩放倍数；特征通过缩放和偏移后所有累加起来，此后还要通过一次 激活运算而后再输出。

最多见的激活函数是Sigmoid(S形曲线)，Sigmoid有时也称为逻辑回归(Logistic Regression)，简称logsig。logsig曲线的公式以下：

还有一种S形曲线也很常见到，叫双曲正切函数(tanh)，或称tansig，能够替代logsig。

下面是它们的函数图形，从图中能够看出logsig的数值范围是0~1，而tansig的数值范围是-1~1。

 

 

 

 

在python中的实现：

对训练集的预处理与逻辑回归相同，从模型构建开始不一样

###对训练集作预处理操做

###模型构建、训练、评分
from sklearn.neural_network import MLPClassifier

for i in range(1,11):
    ANNmodel = MLPClassifier(
            activation='relu',   #激活函数为relu,相似于s型函数
           hidden_layer_sizes=i)  #隐藏层为i
    ANNmodel.fit(inputData,outputData)  #训练模型
    score = ANNmodel.score(inputData,outputData)  #模型评分
    print(str(i) + ',' + str(score))  #每次循环都打印模型评分
#模型评分基本稳定在0.83x左右   

能够发现，隐藏层增大，模型评分趋于一个较稳定的值，即并不是隐藏层越多，模型越好。

###对测试集作相同的预处理操做

###输入测试集做为参数
inputNewData = dummyNewData[dummySelect]
###获得预测结果，以序列形式进行输出
ANNmodel.predict(inputNewData)