基于spark之上的即席分析-spark内存泄漏及源码调优

spark 内存泄露 高并发状况下的内存泄露的具体表现 很遗憾， spark 的设计架构并非为了高并发请求而设计的，咱们尝试在网络条件很差的集群下，进行 100 并发的查询，在压测 3 天后发现了内存泄露。 a) 在进行大量小 SQL 的压测过程当中发现，有大量的 activejob 在 spark ui 上一直处于 pending 状态，且永远不结束，以下图所示 b) 而且发现 driver 内

>>阅读原文<<