sparkSQL性能调优

对于某些工作负载，可以在通过在内存中缓存数据或者打开一些实验选项来提高性能。 在内存中缓存数据    Spark SQL可以通过调用sqlContext.cacheTable("tableName")方法来缓存使用柱状格式的表。然后，Spark将会仅仅浏览需要的列并且自动地压缩数据以减少内存的使用以及垃圾回收的压力。你可以通过调用sqlContext.uncacheTable("tableName

>>阅读原文<<