机器学习PAI全新功效——实时新闻热点Online Learning实践

(机器学习PAI Online Learning模块上线邀测，目前只支持华北2（北京）区域使用，本实验会用到流式机器学习算法)
PAI地址：https://data.aliyun.com/produ...
邀测申请地址：https://data.aliyun.com/paion...

打开新闻客户端，每每会收到热点新闻推送相关的内容。新闻客户端做为一个承载新闻的平台，实时会产生大量的

新闻，如何快速挖掘出哪些新产生的新闻会成为成为热点新闻，决定着整个平台的新闻推荐质量。

如何从平台中海量的新闻素材中找到最有潜力成为热点的新闻须要使用机器学习相关的算法，传统作法是将天天获取的历史咨询下载而且离线训练模型，再将生成的热点发现模型推上线供第二日使用。可是这种离线训练所生成的模型每每缺少时效性的属性，由于天天热点新闻都是实时产生的，用过去的模型预测实时产生的数据显然是缺少对数据时效性的理解。

针对这种场景，PAI平台开创性的提出来Online-Learning的解决方案，经过流式算法和离线算法的结合，既可以发挥离线训练对大规模数据的强大处理能力，又可以发挥流式机器学习算法对实时模型的更新能力，作到流批同跑，完美解决模型时效性的问题。今天就以实时热点新闻挖掘案例为例，为你们介绍PAI OnlineLearning的解决方案。

实验流程
1.切换新版
进入PAI后，点击“体验新版”按钮便可开启试用（目前OnlineLearning只支持新版，且与旧版不兼容）可在模板中一键建立相似于本文介绍的案例，数据和流程都已经内置，开箱即用

模板打开，点击运行后效果(模板目前为简化版本)

2.实验流程介绍

（注：PAI中离线计算组件用蓝色标识，流式计算组件由绿色标识，流式组件相连将造成计算组，由于流式组件须要多个组件的运行中止状态一致）

步骤1：离线模型训练
本文使用的数据是3万条来自UCI开放数据集提供的新闻文本数据。

地址：https://archive.ics.uci.edu/m...

数据组成：包含新闻的URL以及产生时间，另外还包含了58个特征以及1个目标值，目标值“share”是新闻的分享次数，建模过程当中将share字段利用sql组件处理成一个二分类问题，新闻share次数超过10000次为热点新闻，小于10000次为非热门新闻

特征的组成以下图所示：

利用逻辑回归模型训练生成一个二分类模型，这个模型用来评估新闻是否会成为热点新闻。

（注：目前PAI OnlineLearning只支持逻辑回归算法）

步骤2：离线模型转换成流式模型
经过“模型转换”组件，能够将离线生成的逻辑回归模型转换成流式算法可读取的流式模型。

步骤3：流式模型训练
从步骤3开始就进入了流式算法组件的步骤，PAI平台提供多种流式数据源，本案例以Datahub为例。

Datahub地址：https://datahub.console.aliyu...

Datahub是一种流式数据对列，支持JAVA、PYTHON等多种语言采集方式，在具体使用过程当中能够经过Datahub连接用户实时产生的数据以及PAI的训练服务。注意：Datahub输入的数据流格式须要与离线训练的数据流的字段彻底一致，这样才能够对离线的模型进行实时更新。

Ftrl训练组件：左侧输入的是转化为流式的离线模型，右侧输入是流式数据表
FTRL算法基本等同于流式的逻辑回归算法，在使用过程当中须要按照LR算法配置参数，须要注意”模型保存时间间隔参数“的配置，这个参数决定了实时计算产生模型的时间周期。

新版PAI已经内置了大量流式算法组件：

PMML模型生成组件：将输出的模型转化成PMML格式
OSS文件导出：将模型导出到用户本身的OSS中，能够本身设置名称的前缀和后缀，生成模型可在OSS中查看，以下图

步骤4：流式模型评估
流式模型评估指的是利用评估数据对Ftrl训练生成的模型进行评估，输出的评估指标也能够写入OSS，评估指标与模型一一对应。每一个模型和评估指标都有一个ID，若是ID一致，说明模型和评估指标是对应关系，以下图：

评估指标是一个json格式文件，包含精确率、准确率、混淆矩阵等指标：

步骤5：流式预测结果实时导出
能够利用实时生成的模型作实时数据预测，实时的预测结果能够写出到datahub中，以下图：

同时若是输入的预测数据集包含label，还能够添加分类评估组件，能够打开组关系中的最右边按钮：

打开实时的流式预测结果评估页面：

3.模型使用介绍
经过以上步骤已经产生了新闻热点预测模型，生成的模型已经存入OSS，能够直接在PAI-EAS在线预测服务引擎进行部署也能够下载下来在本地预测引擎使用。新闻数据进来后先要作特征工程（同”步骤1：离线模型训练“中的特征处理方式），而后将特征工程处理结果输入”热点新闻挖掘服务“，将会返回新闻是不是热点新闻。

总结经过本文的案例，实现了将离线历史数据生成LR模型推送到实时训练环境，再利用实时生成的数据对模型进行更新, 这种实时训练的架构能够完美解决实时热点新闻对于新闻推荐模型的影响问题。欢迎你们试用并给出建议。