SparkSQL性能调优与优化指南

spark 内存泄露 1.高并发情况下的内存泄露的具体表现 很遗憾，Spark的设计架构并不是为了高并发请求而设计的，我们尝试在网络条件不好的集群下，进行100并发的查询，在压测3天后发现了内存泄露。 a)在进行大量小SQL的压测过程中发现，有大量的activejob在spark ui上一直处于pending状态，且永远不结束，如下图所示   b)并且发现driver内存爆满   c)用内存分析分

>>阅读原文<<