调一调Hive on Spark参数,毫不夸张的说,使其性能达到最大化!

前言   Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎,在HIVE-7292提出。Hive on Spark的效率比on MR要高不少,但是也需要合理调整参数才能最大化性能,本文简单列举一些调优项。为了符合实际情况,Spark也采用on YARN部署方式来说明。 Driver参数 spark.driver.cores 该参数表示每个Executor可
相关文章
相关标签/搜索