天池金融风控-贷款违约挑战赛 Task4 建模调参

天池金融风控-贷款违约挑战赛 Task4 建模调参

• • 1. 学习目标
  • 2. 内容
  • 3. 模型对比
  • • 3.1 逻辑回归
    • 3.2 决策树模型
    • 3.3 集成模型集成方法（ensemble method）
  • 4. 内容

1. 学习目标

1. 学习在金融分控领域经常使用的机器学习模型
2. 学习机器学习模型的建模过程与调参流程
3. 用测试集在调参模型上测试并提交结果并分析比赛反馈准确率
4. 深刻学习模型调参的基础知识和相关原理
5. 总结收获

2. 内容

• 逻辑回归模型：

  • 理解逻辑回归模型；
  • 逻辑回归模型的应用；
  • 逻辑回归的优缺点；

• 树模型：

  • 理解树模型；
  • 树模型的应用；
  • 树模型的优缺点；

• 集成模型

  • 基于bagging思想的集成模型
    • 随机森林模型
  • 基于boosting思想的集成模型
    • XGBoost模型
    • LightGBM模型
    • CatBoost模型

• 模型对比与性能评估：

  • 回归模型/树模型/集成模型；
  • 模型评估方法；
  • 模型评价结果；

• 模型调参：

  • 贪心调参方法；

  • 网格调参方法；

  • 贝叶斯调参方法；

3. 模型对比

3.1 逻辑回归

• 优势

  • 训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；
  • 简单易理解，模型的可解释性很是好，从特征的权重能够看到不一样的特征对最后结果的影响；
  • 适合二分类问题，不须要缩放输入特征；
  • 内存资源占用小，只须要存储各个维度的特征值；

• 缺点

  • 逻辑回归须要预先处理缺失值和异常值【可参考task3特征工程】；

  • 不能用Logistic回归去解决非线性问题，由于Logistic的决策面是线性的；

  • 对多重共线性数据较为敏感，且很难处理数据不平衡的问题；

  • 准确率并非很高，由于形式很是简单，很难去拟合数据的真实分布；

3.2 决策树模型

• 优势
  • 简单直观，生成的决策树能够可视化展现
  • 数据不须要预处理，不须要归一化，不须要处理缺失数据
  • 既能够处理离散值，也能够处理连续值
• 缺点
  • 决策树算法很是容易过拟合，致使泛化能力不强（可进行适当的剪枝）
  • 采用的是贪心算法，容易获得局部最优解

3.3 集成模型集成方法（ensemble method）

经过组合多个学习器来完成学习任务，经过集成方法，能够将多个弱学习器组合成一个强分类器，所以集成学习的泛化能力通常比单一分类器要好。

集成方法主要包括Bagging和Boosting，Bagging和Boosting都是将已有的分类或回归算法经过必定方式组合起来，造成一个更增强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不同，最终获得不同的效果。常见的基于Baggin思想的集成模型有：随机森林、基于Boosting思想的集成模型有：Adaboost、GBDT、XgBoost、LightGBM等。

Baggin和Boosting的区别总结以下：

• 样本选择上： Bagging方法的训练集是从原始集中有放回的选取，因此从原始集中选出的各轮训练集之间是独立的；而Boosting方法须要每一轮的训练集不变，只是训练集中每一个样本在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整
• 样例权重上： Bagging方法使用均匀取样，因此每一个样本的权重相等；而Boosting方法根据错误率不断调整样本的权值，错误率越大则权重越大
• 预测函数上： Bagging方法中全部预测函数的权重相等；而Boosting方法中每一个弱分类器都有相应的权重，对于分类偏差小的分类器会有更大的权重
• 并行计算上： Bagging方法中各个预测函数能够并行生成；而Boosting方法各个预测函数只能顺序生成，由于后一个模型参数须要前一轮模型的结果。

4. 内容

时间有点仓促，还有些调参细节没彻底搞清楚，模型调参后发现模型泛化能力不行，等本周研究透后继续更新。。。