模型训练竞品收集-华为

华为Model Arts

1、产品介绍

ModelArts是面向AI开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速建立和部署模型，管理全周期AI工做流。

 

2、应用场景

ModelArts是一个一站式的开发平台，可以支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、部署等操做，而且提供AI市场功能，可以在市场内与其余开发者分享模型、API和数据集。

ModelArts支持应用到图像分类、图像检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。

面向不一样经验的AI开发者，提供便捷易用的使用流程：

1.面向业务开发者，不需关注模型或编码，可以使用自动学习流程快速构建AI应用；

2.面向AI初学者，不需关注模型开发，使用预置算法构建AI应用；

3.面向AI工程师，提供多种开发环境，多种操做流程和模式，方便开发者编码扩展，快速构建模型及应用。

 

3、产品特点

1.数据治理

支持数据筛选、标注等数据处理，提供数据集版本管理，特别是深度学习的大数据集，让训练结果可重现。

ModelArts数据处理框架包含数据采集、数据筛选、数据标注、数据集版本管理功能，支持自动化和半自动化的数据筛选功能，自动化的数据预标注及辅助自动化标注工具。

 

2.极“快”致“简”模型训练

自研的MoXing深度学习框架，更高效更易用，大大提高训练速度。

动态超参调整技术（动态 batch size、image size、momentum 等）；训练数据压缩、多级缓存；分布式数据-模型混合并行；自动混合精度训练（充分发挥硬件计算能力）等；

 

3.云边端多场景部署

支持模型部署到多种生产环境，可部署为云端在线推理和批量推理，也能够直接部署到云、边、端多种场景。

在线推理服务，能够实现高并发，低延时，弹性伸缩，而且支持多模型灰度发布、A/B测试。一键部署，能够直接推送部署到边缘设备中，选择智能边缘节点，推送模型。

 

4.自动学习

支持多种自动学习能力，经过“自动学习”训练模型，用户不需编写代码便可完成自动建模、一键部署。

基于迁移学习、自动神经网络架构搜索实现模型自动生成，经过算法实现模型训练的参数自动化选择和模型自动调优的自动学习功能，让零AI基础的业务开发者可快速完成模型的训练和部署。

 

5.可视化工做流

使用GES（图引擎服务）统一管理开发流程元数据，自动实现工做流和版本演进关系可视化，进而实现模型溯源。

ModelArts提供从数据、算法、训练、模型、服务全流程可视化管理，无需人工干预，自动生成溯源图；提供版本可视化比对功能，可帮助用户快速了解不一样版本间的差别。

 

6.AI市场

预置经常使用算法和经常使用数据集，支持模型在企业内部共享或者公开共享。

 

 

4、产品使用

1.业务开发者，使用自动学习构建模型

(1).准备数据，上传或是从公共市场导入数据，支持数据集版本管理；

(2).建立训练项目，选择要训练的数据集，进行训练项目建立；

(3).数据标注，对训练项目的数据集，进行人工标注；

(4).算法训练，标注完成，设置训练参数，进行自动训练，放到模型管理模块；

(5).部署上线，在模型管理找到对应的模型，进行在线部署；

 

 

(6).测试服务，对部署好的模型，进行在线测试验证；

2.AI初学者，使用预置算法构建模型

(1).准备数据，上传或是从公共市场导入数据，支持数据集版本管理；

(2).模型训练，创建训练做业，基于对数据源、运行参数、日志等进行配置；图片分类，基于ResNet_v1_50进行训练，支持TensorFlow, TF-1.8.0-python2.7；

(3).训练过程可视化，建立TensorBoard，进行训练过程查看，进行实时图表显示；

(4).模型导入，训练完成，将模型进行导入模型管理，支持模型版本管理；

(5).部署上线，在模型管理找到对应的模型，进行在线部署；

(6).测试服务，对部署好的模型，进行在线测试验证；

(7).清除资源，删除相关训练资源，避免产生相关费用；

 

3.AI工程师，AI全流程开发

(1).准备数据，上传或是从公共市场导入数据，支持数据集版本管理；

(2).模型训练，创建训练做业，选用MXNet引擎，基于已上传的“train_mnist.py”训练脚本，支持MXNet-1.2.1-python2.7的版本；

(3).模型编写，建立NoteBook进行推理代码和配置文件的编写和修改，并进行数据的上传，存储到OBS；

(4).模型导入，从OBS中选择数据，导入到模型管理模块，选择AI引擎；

(5).部署上线，在模型管理找到对应的模型，进行在线部署；

(6).测试服务，对部署好的模型，进行在线测试验证；

(7).清除资源，删除相关训练资源，避免产生相关费用；

 

 

华为MLS

1、产品介绍

机器学习服务（MLS），帮助用户经过机器学习技术快速发现数据规律和构建预测模型，并将其部署为预测分析解决方案(数据挖掘分析平台服务)。

 

2、应用场景

1.产品推荐

场景说明：根据客户自己属性和行为特征等（年龄、性别、工做类型、婚姻情况、文化程度、我的贷款、收入状况），预测客户是否愿意办理相关业务，为客户提供个性化的业务推荐；

推荐算法：随机决策森林分类、梯度提高树分类；

场景案例：银行理财推荐、车辆订价预测；

2.客户分群

场景说明：经过数据挖掘来给客户作科学的分群，依据不一样分群的特色制定相应的策略，从而为客户提供适配的产品、制定针对性的营销活动和管理用户，最终提高产品的客户满意度，实现商业价值；

推荐算法：K-均值；

场景案例：零售商客户分群；

3.异常检测

场景说明：在网络设备运行中，用自动化的网络检测系统，根据流量状况实时分析，预测可疑流量或可能发生故障的设备；

推荐算法：基于PCA的异常检测、孤立森林；

场景案例：网络入侵检测；

4.预测性维护

场景说明：为设备建立预测模型并提供预见性维护建议和计划，减小故障时间和发生概率，从而提升效率和下降成本；

推荐算法：逻辑回归、梯度提高树回归

场景案例：汽车制造与维护

5.驾驶行为分析

采集驾驶员不良驾驶习惯（好比：急加速、急转弯、急减速、超速、疲劳驾驶等），经过建模分析驾驶员驾驶习惯优良程度；

面向企业车队提供驾驶员评级，约束不良驾驶习惯；面向我的车主，提供驾驶习惯优化建议，下降事故率和下降油耗，对于保险公司，能够用于UBI场景。

 

3、产品特色

1.拖拽式交互，经过可视化的拖拽式工做流，实现不一样节点的链接，建立工做流，进行数据处理、模型训练、评估和预测，并以合适的图表将结果可视化输出。

2.可视化，数据可视化和模型可视化功能，数据、机器学习模型即时可视，包括数据可视化、模型可视化和模型评估结果可视化。

3.交互式Notebook，交互式建模方式，兼容第三方开发包，支持多种开源建模语言（Python等），提供数据可视化能力；

4.预置丰富算法，预置300多种丰富的机器学习算法，知足从数据导入和处理，到模型训练和评估、导出，覆盖预测分析端到端业务；

5.一站式，提供特征工程、机器学习算法、建模、预测、部署、调度，模型全生命周期管理的机器学习一站式机器学习应用；

支持从数据分析、算法、模型构建、模型可视、模型评估、模型应用、模型预测的一站式应用；支持一键部署、自动化建模、预测分析可视化。

 

4、产品使用

1.场景介绍：介绍使用场景和使用的数据信息，该场景模板的数据已提早预置在OBS中，您无需上传便可直接使用；

2.准备工做：在华为云OBS中建立桶，用于存放数据集和模型；

3.步骤一：建立ML Studio实例：基于已有的数据集，建立ML Studio实例，选择服务器、带宽、存储进行配置；

 

4.步骤二：使用ML Studio建模：选择场景或算法类型，建立工做流，而后启动模型训练；进行数据集、模型、训练节点的可视化查看；

 

 

 

 

5.步骤三：使用ML Studio预测：使用已经保存好的模型和其余餐厅的相关数据，预测销售额。