Spark SQL之性能优化

对于某些工做负载，能够经过在内存中缓存数据或打开一些实验性选项来提升性能。web 在内存中缓存数据 Spark SQL能够经过调用Spark .catalog. cachetable(“tableName”)或dataFrame.cache()来使用内存中的柱状格式缓存表。而后Spark SQL将只扫描所需的列，并自动调优压缩，以最小化内存使用和GC压力。能够调用spark.catalog. un

>>阅读原文<<