sas神经网络：构建人工神经网络模型来识别垃圾邮件

原文连接http://tecdat.cn/?p=14033

 

神经网络是一种很是通用的灵活预测模型，可用于解决各类问题，包括分类，降维和回归。

现实世界中的一些业务应用示例包括图像处理，医疗诊断，金融服务和欺诈检测。此样本说明如何使用SAS®In-Memory Statistics中的NEURAL语句来构建人工神经网络模型来识别垃圾邮件。该示例中使用的数据集是机器学习存储库中的经典Spambase数据集。请注意，SAS®内存中统计信息具备直接将数据直接从URL加载到内存中的功能，而无需保存到磁盘，如示例所示。该示例还演示了如何执行如下任务：

1.对从不一样点开始的几个“浅”神经网络进行预训练，以免建立因为初始权重差而无效的神经网络。
2.从预训练的神经网络中选择最佳的神经网络，而后继续分析以训练更深的神经网络做为最终模型。
3.使用最终的神经网络模型对验证数据集评分。
4.使用评分结果和ASSESS语句执行模型评估。
5.根据ASSESS语句的结果绘制升力和ROC曲线。

 

data mylasr.spambase;
    infile "&base/spambase/spambase.data" device=url dsd dlm=',';
    input Make Address All _3d Our Over Remove Internet Order Mail Receive
    Will People Report Addresses Free Business Email You Credit Your Font
    _000 Money Hp Hpl George _650 Lab Labs Telnet _857 Data _415 _85
    Technology _1999 Parts Pm Direct Cs Meeting Original Project Re Edu
    Table Conference Semicol Paren Bracket Bang Dollar Pound Cap_Avg
    Cap_Long Cap_Total Class;
run;

proc imstat;

1.从不一样点到预训练几个“浅”神经网络,避免建立因初始值不佳而无效的神经网络。
 

/*input */ input=(make--cap_total) std=std
         /*target*/ targetact=softmax targetcomb=linear error=entropy nominal=class
         /*hidden*/ hiddens=(10) act=(logistic) combine=(linear)
         /*prelim*/ numtries=5 maxiter=10 tech=congra 
         /*NLOP  */ maxfunc=1000000 linesearch=2 fconv=1e-4 lower=-20 upper=20;

2.从预训练的神经网络中选择最佳的神经网络，而后继续分析以训练更深层的神经网络做为最终模型。
 

/*NLOP  */ maxfunc=1000000 linesearch=2 fconv=1e-4 lower=-20 upper=20;

3.使用通过训练的神经网络模型对分数进行验证。 ASSESS选项指定为全部级别的得分数据添加预测几率标称目标变量。 在此示例中，建立了两个级别，由于名为class的变量具备两个值0或1。计分的数据为存储在临时表中。
 

input = (make--cap_total) nominal=class temptable assess vars = (class);

 4.使用评分结果执行模型评估。 全部级别的几率都在输出中，可是咱们仅须要事件级别的几率。 WHERE子句仅用于选择具备事件级别的行。 剥离功能适用于删除字符变量_NN_Level_中的空格。

 

5.根据ASSESS语句的结果绘制升力和ROC曲线。
 

proc sgplot data=rocdata;
    series x = one_minus_Specificity y = Sensitivity / lineattrs=(color=blue);
    series x = one_minus_Specificity y = one_minus_Specificity / lineattrs=(color=black);
    yaxis grid;
run;
quit;

 该模型信息表

​

分数信息表
​

提高曲线
​

ROC 曲线

 

​

 

 

---

 

参考文献

 

1.r语言用神经网络改进nelson-siegel模型拟合收益率曲线分析

 

2.r语言实现拟合神经网络预测和结果可视化

 

3.python用遗传算法-神经网络-模糊逻辑控制算法对乐透分析

 

4.用于nlp的python：使用keras的多标签文本lstm神经网络分类

 

5.用r语言实现神经网络预测股票实例

 

6.R语言基于Keras的小数据集深度学习图像分类

 

7.用于NLP的seq2seq模型实例用Keras实现神经机器翻译

 

8.python中基于网格搜索算法优化的深度学习模型分析糖

 

9.matlab使用贝叶斯优化的深度学习