spark-submit提交方式说明

#####提交格式 spark-submit [options] <app jar | python file> [app options]

#####提交参数

名称	说明
--master MASTER_URL	如spark://host:port、mesos://host:port、yarn、yarn-cluster、yarn-client、local
--deploy-mode DEPLOY_MODE	Driver程序运行的方式，Client或者Cluster
--class CLASS_NAME	主类名称，含包名
--name NAME	Spark应用的名称
--jars JARS	加入到Driver和Executor的ClassPath中的jar包列表，以逗号分隔
--py-files PY_FILES	用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表
--files FILES	用逗号隔开的要放置在每一个executor工做目录的文件列表
--properties-file FILE	设置应用程序属性的文件路径，默认是conf/spark-defaults.conf
--driver-memory MEM	Driver程序使用内存大小
--driver-java-options	java配置选项，好比GC、新生代相关信息
--driver-library-path	Driver第三方jar包路径
--driver-class-path	Driver的类目录
--executor-memory MEM	executor内存大小，默认1G
--driver-cores NUM	Driver程序的使用CPU个数，仅限于standalone模式，默认1个
--supervise	失败后是否重启Driver，仅限于standalone模式
--total-executor-cores NUM	executor使用的总核数，仅限于standalone、Spark on Mesos模式
--executor-cores NUM	每一个executor使用的内核数，默认为1，仅限于Spark on Yarn模式
--queue QUEUE_NAME	提交应用程序给哪一个YARN的队列，默认是default队列，仅限于Spark on Yarn模式
--num-executors NUM	启动的executor数量，默认是2个，仅限于Spark on Yarn模式
--archives ARCHIVES	逗号分隔的归档文件列表，会被解压到每一个Executor的工做目录中，仅限于Spark on Yarn模式