那些年咱们在spark SQL上踩过的坑

作了一年延云YDB的开发，这一年在使用spark上真心踩了很多坑，总结一下，但愿对你们有所帮助。 spark 内存泄露 1.高并发状况下的内存泄露的具体表现 很遗憾，spark的设计架构并非为了高并发请求而设计的，咱们尝试在网络条件很差的集群下，进行100并发的查询，在压测3天后发现了内存泄露。node a)在进行大量小SQL的压测过程当中发现，有大量的activejob在spark ui上一直处

>>阅读原文<<