spark学习部分笔记

每一个 Spark 应用都由一个驱动器程序（driver program）来发起集群上的各类并行操做。驱动器程序包含应用的 main 函数， 驱动器程序经过一个 SparkContext 对象来访问 Spark。 调用了sc.textFile() 来建立一个表明文件中各行文本的 RDD 驱动器程序通常要管理多个执行器（executor）节点。 val conf = new SparkConf().

>>阅读原文<<