第七课:Spark 机器学习内幕剖析

1.Spark机器学习的本质是什么?算法

机器学习,数据+算法(迭代),机器学习

从某个角度而言,其实Spark的机器学习就是Spark 平台之上的函数库,这些函数基于RDD,DataFrame,DataSet分布式

Spark机器学习的数据来源,在Spark的最底层确定是RDD封装的,这个和Spark具体是什么版本没有任何关系,版本的发展只不过是提供了更多的更高层的API而已,函数

例如:DataFrame,DataSet等,而之因此有DataFrame,DataSet,通常状况下是为了使用统一的优化引擎(抽象程度越高,优化算法就越高)
可是机器学习从算法的角度而言,最原始的实际上是都是基于Vector和Matrix来计算的,学习

也就是说RDD/DataFrame/DataSet里面的数据从机器学习的角度来说,都是Vector和Matix,而借助于RDD/DataFrame/DataSet,自然分布式并行计算完成了机器学习的并行化和可扩展性等优化

其实这和图计算的思路很是类似,图计算中数据也是存储在RDD,可是Spark的图计算提供了Vertices,Edges,Routing Table等对象来解析RDD中的数据,从而变成图计算可用的数据对象

 

RDD/DataFrame/DataSet和Vector/Matrix关系图:class

 

学好Spark机器学习的关键:原理

1.Spark core扩展

2.Vector和Matrix的学习

3.Spark机器学习的算法:

     1.算法原理和应用场景

      2.Spark如何实现

        3.案例实战

            4.基于上面的步骤,进入深刻地思考

4.综合案例

 

概括总结:1.Spark机器学习的本质是什么

2.RDD/DataFrame/DataSet和Vector/Matrix关系图

 

相关文章
相关标签/搜索