Spark-Core应用详解之高级篇

文章目录 3、RDD高级应用 1.RDD的分片数量 2.RDD的函数传递问题 <1>若是RDD的转换操做中使用到了class中的方法或者变量，那么该class须要支持实例化。 <2>若是经过局部变量的方式将class中的变量赋值为局部变量，那么就不须要传递对象。 3.RDD的运行方式 (1)RDD的依赖关系 (2)DAG 有向无环图 (3)RDD的任务划分 Stage 4.RDD的持久化 5.RD

>>阅读原文<<