1.Spark机器学习的本质是什么?算法
机器学习,数据+算法(迭代),机器学习
从某个角度而言,其实Spark的机器学习就是Spark 平台之上的函数库,这些函数基于RDD,DataFrame,DataSet分布式
Spark机器学习的数据来源,在Spark的最底层确定是RDD封装的,这个和Spark具体是什么版本没有任何关系,版本的发展只不过是提供了更多的更高层的API而已,函数
例如:DataFrame,DataSet等,而之因此有DataFrame,DataSet,通常状况下是为了使用统一的优化引擎(抽象程度越高,优化算法就越高)
可是机器学习从算法的角度而言,最原始的实际上是都是基于Vector和Matrix来计算的,学习
也就是说RDD/DataFrame/DataSet里面的数据从机器学习的角度来说,都是Vector和Matix,而借助于RDD/DataFrame/DataSet,自然分布式并行计算完成了机器学习的并行化和可扩展性等优化
其实这和图计算的思路很是类似,图计算中数据也是存储在RDD,可是Spark的图计算提供了Vertices,Edges,Routing Table等对象来解析RDD中的数据,从而变成图计算可用的数据对象
RDD/DataFrame/DataSet和Vector/Matrix关系图:class
学好Spark机器学习的关键:原理
1.Spark core扩展
2.Vector和Matrix的学习
3.Spark机器学习的算法:
1.算法原理和应用场景
2.Spark如何实现
3.案例实战
4.基于上面的步骤,进入深刻地思考
4.综合案例
概括总结:1.Spark机器学习的本质是什么
2.RDD/DataFrame/DataSet和Vector/Matrix关系图