Spark调优(二)-----合理配置Spark集群的Executor,Core,Partition

概述 合理配置Executor，Core，Partition会大大提高集群的计算效率。 举个例子：100道计算题，如果一个人计算可能需要100min，但如果平均分配给10个人计算，每人算10道题，然后再汇总给一个人提交，那只需要10min就可以完成。 为了帮助大家更全面的理解底层原理和一些基本概念，先介绍Spark架构与Spark调度模块，调优在文章最末 目录 概述 Spark架构 Spark调度

>>阅读原文<<