spark资源调度整合任务调度 spark-shuffer及调优 spark分组排序二次排序

 1.apark资源调度整合任务调度(前两天分别详细写到spark资源调度和spark任务调度)    如下图:  2.shuffer及调优: hashshuffer sortshuffer shuffer有两个阶段： shuffer write:将数据写到磁盘小文件 shuffer read:将数据从小文件中读取出来 shuffer调优: SparkConf.set("spark.shuffle

>>阅读原文<<