用机器学习构建模型，进行信用卡反欺诈预测

本文经过利用信用卡的历史交易数据进行机器学习，构建信用卡反欺诈预测模型，提早发现客户信用卡被盗刷的事件。

1. 数据的下载和数据介绍

数据的下载地址为

https://www.kaggle.com/dalpozz/creditcardfraud/data

数据集是2013年9月使用信用卡进行交易的数据。此数据集显示两天内发生的交易，其中284,807笔交易中有492笔被盗刷。数据集很是不平衡，被盗刷占全部交易的0.172％。不幸的是，因为保密问题，咱们没法提供原始数据。特征V1，V2，... V28是使用PCA得到的主要组件。特征Class是响应变量，若是发生被盗刷，则取值1，不然为0。

数据包含了Time,V1,V2,..V28,Amount,Class一共31列，其中Class是标签列，其中0表明没有被盗刷，1表示被盗刷。

2. 分析工具介绍

咱们使用的工具是FEA-spk技术，它的底层基于最流行的大数据开发框架spark，对各类算子的操做都是基于DataFrame的，使用FEA-spk来作交互分析，不但很是简单易懂并且几乎和spark的功能同样强大，更重要的一点，它能够实现可视化，处理的数据规模更大，能够进行分布式的机器学习等

3. 案例的具体实现步骤以下

1. 数据预处理（Pre-processing Data）

（1） 加载数据

查看一下数据的大小

能够看到一共有28万多条

（2） 缺失值的处理，缺失值的占比状况

 能够看到没有缺失值

2. 特征工程（Feature Engineering）

统计目标列的状况，这里涉及到样本的不平衡问题

能够看到数据严重的不均衡，样本不平衡影响分类器的学习，下面进行欠采样。

能够看到数据比较平衡了。

3. 特征选择

（1）因为Spark机器学习只支持double类型的数据，因此咱们将数据转化为double类型的。

（2） 将特征聚合为向量

（3） 咱们能够看到Time和Amount对应的向量的规格和其余特征相差较大，所以咱们需对其进行归一化处理。

（4）咱们看到特征向量一共有30个特征，特征的个数太多了，下面咱们对特征进行卡方特征选择，选取10个最有预测能力的特征。

能够看到特征向量的维度变为10维了。

4.将数据划分为训练集和测试集

能够看到，a表和b表的比例大约为10:1。

5. 模型设定与预测

（1）对训练集df6表构造逻辑回归模型

（2）此刻的模型已经创建好了，下面咱们用测试集进行预测

其中prediction列就是测试集的预测结果。

（3）对模型进行打分，评价模型的好坏

能够看到，模型的准确率达到了91%以上。

（4） 将模型保存到hdfs上面，以便下次使用

（5） 加载模型

以上就是信用卡反欺诈模型的构建过程，关注openfea，会有更多精彩的内容推荐。