从中国农业银行“雅典娜杯”数据挖掘大赛看金融行业数据分析与建模方法

【说在前面】本人博客新手一枚，象牙塔的老白，职业场的小白。如下内容仅为我的看法，欢迎批评指正，不喜勿喷！[握手][握手]
【再啰嗦一下】若是你对数据挖掘感兴趣，欢迎先浏览个人另外一篇随笔：数据挖掘比赛/项目全流程介绍
【再啰嗦一下】若是你对金融科技感兴趣，欢迎浏览个人另外一篇随笔：若是你想了解金融科技，不妨先了解金融科技有哪些可能？
【最后再说一下】本文结合了博主、内部赛优秀团队以及外部赛冠/亚/季军的方案分享！

如何进行金融行业数据分析与建模，是挖掘金融行业数据价值的重要手段。金融行业数据分析与建模方法主要包括七个重要环节，每一个环节紧密相连。

1. 赛题介绍

1.1 赛题名称

贷款风险预测（逾期还款分三种状况：要么用户不肯意还款、要么没有钱还款、要么忘了还款）

1.2 问题描述

根据数据集中8万用户的相关信息，预测用户将来是否会逾期还款。

1.3 提供数据

用户基本信息、银行卡流水、信用卡帐单信息以及用户行为数据，字段内容均为脱敏数据。

1.4 评估指标

Kolmogorov-Smirnov(KS)是风险评分领域经常使用的评估指标，反应模型对正负样本的辨识能力，KS越高代表模型对正负样本的辨识能力越强。
KS = max { | f(s|P) - f(s|N) | }
其中，f(s|P) 为正样本预测值的累计分布函数，f(s|N) 为负样本在预测值上的累计分布函数。

2. 数据探索

经过数据可视化查看数据样本的分布以及特征的统计规律。

• 正/负样本比例1：4（应该是人工采样过，实际业务中逾期样本比例不多）
• 训练集/测试集样本比例6w：8k
• ......
  
  

3. 数据预处理

主要包括数据的缺失值处理、异常值处理、拼接、去重等基本处理。同时，还有汇率转换和单位净值*份额等基本数据操做。

4. 特征工程

4.1 基本特征

根据类别型和数值型数据在标签上的分布进行预处理，包括标准化、归一化、离散化、平滑化、one-hot编码等。

4.2 时序变化特征

• 银行卡流水：计算用户在全局、特定条件下（交易类型，非工资收入/工资收入，支出/收入）的金额和时间的统计特征（sum/count/mean/median/std/min/max）
• 信用卡帐单：计算用户在全局、特定条件下（银行标识，还款状态）的金额（上期帐单金额，上期还款金额，本期帐单余额，信用卡额度）和帐单时间戳的统计信息
• 浏览行为：计算用户天天每种行为类型/子类型的count、浏览行为数和浏览时间的统计信息
• 日期的转换：根据上半年/下半年、季度、月份等时间维度，提取大量可能的日期特征衍生
• 滑动窗口处理：根据不一样时间区间（近一个月、近两个月等），计算用户对应的银行流水、信用卡帐单、浏览行为的基础特征/统计特征
• 屏蔽采样时间差别的特征：取前五条和最后五条处理等
• ......

4.3 交叉特征

• 除法：例如某浏览行为类型占总浏览的比例、工资收入/非工资收入等
• 减法：最大时间戳-最小时间戳（表示某种行为的时间跨度）等
• 拼接：例如行为类型-子类型1/2，拼接后计算特征等
• 用户的我的信息之间的交叉特征衍生
• ......

4.4 业务理解特征

• 上期未还款金额 = 上期帐单金额 - 上期还款金额
• 相邻两期帐单金额差 = 本期帐单余额 - 上期帐单金额
• if 上期帐单金额 > 信用卡额度，爆卡 = 1 else 爆卡 = 0
• if 上期还款金额 < 上期帐单金额，未足额还款 = 1 else 未足额还款 = 0
• 缺失副表的数量
• ......
  

5. 特征选择

• 删除相关性高的特征（例如取阈值0.98）
• 使用低成本特征选择算子，过滤掉不重要的特征（例如取50%）
• 使用预训练的lightgbm模型得到特征重要性（例如取top3500）
  

6. 模型选择及调参

• 通过实验选择了lightgbm模型
• 使用网格搜索/贝叶斯优化对其进行调参（调整叶子节点数、最大深度、行/列采样比例、正则项系数等）
• 经过KS指标/自定义评价函数，经过交叉验证，获取较为准确的模型迭代轮次

7. 模型融合

• bagging
• stacking
• ......

若是你对金融科技感兴趣，欢迎浏览个人另外一篇博客：若是你想了解金融科技，不妨先了解金融科技有哪些可能？
若是您对数据挖掘感兴趣，欢迎浏览个人另外一篇博客：数据挖掘比赛/项目全流程介绍
若是你对智能推荐感兴趣，欢迎先浏览个人另外一篇随笔：智能推荐算法演变及学习笔记
若是您对人工智能算法感兴趣，欢迎浏览个人另外一篇博客：人工智能新手入门学习路线和学习资源合集（含AI综述/python/机器学习/深度学习/tensorflow）
若是你是计算机专业的应届毕业生，欢迎浏览个人另一篇博客：若是你是一个计算机领域的应届生，你如何准备求职面试？
若是你是计算机专业的本科生，欢迎浏览个人另一篇博客：若是你是一个计算机领域的本科生，你能够选择学习什么？
若是你是计算机专业的研究生，欢迎浏览个人另一篇博客：若是你是一个计算机领域的研究生，你能够选择学习什么？
以后博主将持续分享各大算法的学习思路和学习笔记：hello world: 个人博客写做思路