spark SQL 参数调优

1 spark.sql.codegen 默认值为false，当它设置为true时，Spark SQL会把每条查询的语句在运行时编译为java的二进制代码。这有什么做用呢？它能够提升大型查询的性能，可是若是进行小规模的查询的时候反而会变慢，就是说直接用查询反而比将它编译成为java的二进制代码快。因此在优化这个选项的时候要视状况而定。 2 spark.sql.inMemoryColumnStorag

>>阅读原文<<