SparkSQL性能分析与优化及相关工具小结

简介 前段时间的工做是将内部一个OLAP系统Hxxx做为一个数据源接入到SparkSQL并进行优化。本文总结下调优过程中一些能够借鉴与讨论的地方，鉴于本人水平有限，还请有这方面调优经验的同窗不吝赐教^_^php 优化主要是从两个方面来考虑， 1. 集群粒度的调优，包括CPU与内存分配，数据分布，shuffle等。数据存储在HDFS上，Hxxx接入SparkSQL时已经保证了Data Localit

>>阅读原文<<