腾讯AI主管带你深度实践Spark机器学习

前言

大数据、人工智能正在改变或颠覆各行各业，包括咱们的生活。大数据、人工智能方面的人才已经供不该求，但做为人工智能的核心一机器学习, 因涉及的知识和技能比较多，除了须要具有必定的数学基础、相关业务知识外，还要求有比较全面的技术储备，如操做系统、数据库、开发语言、数据分析工具、大数据计算平台等，无形中提升了机器学习的门槛。

如何下降机器学习的门槛，让更多有志于机器学习、人工智能的人能更方便或顺畅地使用、驾驭机器学习?

如何使本来复杂、专业性强的工做或操做简单化？

封装是一个有效方法。封装下降了咱们操做照相机的难度、下降了咱们维护各类现代设备的成本，同时也提高了咱们使用这些设备的效率。除封装外，过程的标准化、流程化一样是目前现代企业用于提高生产效率，下降成本，提升质量的有效方法。

硬件如此，软件行业一样如此。目前不少机器学习的开发语言或平台，正在这些方面加大力度，好比:对特征转换、特征选择、数据清理、数据划分、模型评估及优化等算法的封装;对机器学习过程的进行流程化、标准化、规范化;给你们比较熟悉的语言或工具提供API等方法或措施，以简化机器学习中间过程,缩短整个开发周期，使咱们能更从容地应对市场的变化。Spark 在这方面可谓后来居上，尤为是最近发布的版本，明显加大了这方面的力度，咱们能够从如下几个方面看出这种趋势：

1)Spark机器学习的API,正在由基于RDD过渡到基于Dataset或DatalFrame,基于RDD的API在Spark2.2后处于维护阶段，Spark3.0 后将中止使用(来自Spark官网)；

2)建议你们使用Spark ML,尤为是它的Pipeline；

3)增长大量特征选择、特征转换、模型选择和优化等算法；

4)丰富、加强Spark与Java、Python. R的API,使其更通用。

深度实践Spark机器学习

限于平台篇幅缘由，小编只截取了一部分，为了方便你们更好的阅读，小编把相关的资料都整理好了，有感兴趣的朋友能够帮忙转发文章后，关注私信回复【学习】来获取

第1章 了解机器学习

第2章 构建Spark机器学习系统

第3章 ML Pipeline原理与实战

第4章 特征
提取、转换和选择

第5章 模型选择和优化

第6章 Spark MLlib基础

第7章 构建Spark ML推荐模型

第8章 构建Spark ML分类模型

第9章 构建Spark ML回归模型

第10章 构建Spark ML聚类模型

第11章 PySpark 决策树模型

第12章 SparkR朴素 贝叶斯模型

第13章 使用Spark Streaming构建在线学习模型

第14章 ensorFlowOnSpark详解