Spark性能调优-高级篇

一、 前言 对于使用Spark的大数据研发工程师而言，由于我们硬件基础设施的有限性，而我们的运算数据却可能存在很大的不确定性。因些，熟练掌握Spark各种情况下的性能优化对于大数据工程师而言是十分有必要的。 二、 数据倾斜调优 其实，对于大数据处理，数据量大不是什么大问题，而最怕的是数据倾斜；这也可能是我们大数据计算中一个最棘手的问题，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用

>>阅读原文<<