spark-submit提交spark任务的具体参数配置说明

今天咱们主要来讲一下spark-submit的时候一些重要的参数的配置,和spark提交的两种模式; spark提交任务常见的两种模式: 1,local[k]:本地使用k个worker线程运行saprk程序.这种模式适合小批量数据在本地调试代码用.(若使用本地的文件,须要在前面加上:file://) 2,spark on yarn模式:     (1)yarn-client模式: 以client模

>>阅读原文<<