说说我对spark-sql的job的参数调优

首先要说的是机器配置node namenode/datanode:  sql cpu : 8core  memory: 56G架构 我如今是基于yarn+spark的架构来讲。spa 如今设置 线程 yarn.nodemanager.resource.memory-mb =51200 (50GB)  --每一个node能够最多使用50GB做为 container 的分配orm yarn.sched

>>阅读原文<<