Spark on Yarn：任务提交参数配置

当在YARN上运行Spark做业，每一个Spark executor做为一个YARN容器运行。Spark可使得多个Tasks在同一个容器里面运行。 如下参数配置为例子并发 spark-submitspa --master yarn-cluster  / yarn-client　　　　#使用集群调度模式/客户端模式blog --num-executors  2      　　 # executor

>>阅读原文<<