第 5 章 机器学习技术的应用(上)

原文

全文目录

机器学习技术概述

让计算机在没有被显示编程的状况下具备自主学习的能力;

学习出特征和目标之间具体的相关性;

学习结果的用法: 预测, 推断(inference);

推荐系统中的应用场景

推荐系统的本质是匹配;

1. 推荐结果排序

   传统的方式是利用公式来定义排序规则, 机器学习是选择具备良好描述能力的规则系统来服务于系统;

2. 用户兴趣建模

   用户兴趣的捕捉和预测, 捕捉即对用户行为的客观记录; 预测则基于行为记录对用户未来可能感兴趣的内容进行预测;

3. 候选集召回

   相似排序问题;

优势:

1. 机器学习系统对推荐系统进行全方位的改造升级;
2. 引入一套能够系统性持续优化的架构;

机器学习技术的实施方法

老系统与数据准备

1. 收集训练样本

   老系统中已有的样本数据;

   曝光误差(impression bias)比较小;

   曝光误差: 系统是否会倾向于曝光某一类型的物品, 致使其余类型物品曝光不足, 在总体数据上产生曝光误差的问题;

2. 收集业务规则

   解决问题的模型, 多数状况下都是以逻辑回归和决策树为表明的浅层模型, 即大量的被量化的规则;

   机器学习即规模化的量化规则;

   量化: 将以前人工指定的规则, 利用数据和算法, 针对具体的优化目标进行量化;

   规模化: 机器学习能够用相对自动化的方法让规则的数量增长几个量级;

3. 肯定系统目标

   基于老系统基础上使用机器学习技术进行技术升级和改造, 目标是和老系统一致的;

问题分析与目标定义

在架构设计和代码开发以前, 要对待解决问题进行分析, 对系统优化目标进行拆解;

1. 问题现状分析

   搞清楚系统情况, 包括算法, 数据, 运行方式, 数据与线上交互, 模块前端展现等;

   优先处理 ROI(投入产出比)高的事情;

2. 问题归因拆解

   将最终的待达成目标拆解为多个可执行的具体工做;

   例如: 提高购买转化率 => 用户看到曝光商品+用户进行购买 => 用户看到曝光商品+用户进行点击 AND 用户进行点击+用户进行购买;

3. 设计指标体系

   实施机器学习系统须要的指标体系:

   • 监控机器学习系统自己效果好坏的指标; (例如: AUC 等离线评估指标和点击率等线上监控指标)
   • 对机器学习系统所服务和影响的大系统的各方面指标; (例如: 用户平均停留时长, 平均跳出率, 平均分享率等)

若是没法衡量, 就没法优化

机器学习模型的构建流程主要包括: 样本处理+特征处理+模型训练;

又能够分为:

算法维度: 对各类数据进行逻辑处理; 描述系统逻辑的维度;

架构维度: 具体实施时经过怎样的架构实现算法逻辑; 描述具体实施方案的维度;

样本处理

样本的质量决定了模型效果的好坏;

• 原始样本, instance, 要预测的信息自己, 不带有任何特征; (例如: 用户ID+曝光物品ID+是否点击)
• 带特征样本, example, 将原始样本与特征进行拼接以后, 可用于模型训练的样本;

典型的点击率模型场景下, 通常存在三份日志:

1. 请求日志, 记录用户对推荐系统的请求, 属于最上游的数据;
2. 曝光日志, 记录在请求获得的数据中, 哪些被曝光给用户了;
3. 点击日志, 在曝光后的数据中, 哪些被用户点击了;

涉及两项关键工做:

1. 获取到足量, 准确的样本数据;

   • 爬虫, 做弊和异常数据的去除;
   • 使用统计数据验证样本的准确性; (例如: 平均点击率, 用户点击率分布)
   • 移动端数据收集机制的设计; (例如: 只发送曝光的最后一个物品的信息, 配合日志获取其余曝光物品)
   • 尽可能多的保留上下文信息;

2. 在训练时对样本进行选取, 以期获得更好的训练效果;

   • 样本随机打散;

     机器学习模型的训练和评测中, 要求样本是随机分布的;

     • 从总体样本中划分训练集和测试集, 要求是同分布的;
     • 经常使用的模型优化方法, 都会分批取样原本训练模型, 要求样本分布是随机的;

   • 正负样本采样;

     正负样本误差严重时, 可采用正样本升采样和负样本降采样; 去除冗余样本, 边界样本, 噪声样本等, 或者随机丢弃相应比例的负样本;

   • 负样本划分模型组合;

   • 样本可信度处理;