Hive on Spark调优

之前在Hive on Spark跑TPCx-BB测试时,100g的数据量要跑十几个小时,一看CPU和内存的监控,发现 POWER_TEST阶段(依次执行30个查询)CPU只用了百分之十几,也就是没有把整个集群的性能利用起来,导致跑得很慢。因此,如何调整参数,使整个集群发挥最大性能显得尤为重要。 Spark作业运行原理 spark-base-mech.jpg 详细原理见上图。我们使用spark-su
相关文章
相关标签/搜索