Spark中saveAsTextFile至stage划分和job提交的源代码分析

以前看了Spark Streaming和Spark SQL, 本身还花了一些时间去玩了些machine learning的算法, 像 线性回归, kmeans, 协同过滤等。 如今回过头来, 打算看一下spark core部分代码, 就先找了下saveAsTextFile这个方法做为入口, 看一下是怎么保存文档到hadoop中,而且怎么切分stage以及提交Task。 中间也会触碰到DAGSche
相关文章
相关标签/搜索