spark-env.sh配置

SPARK_MASTER_IP       绑定一个外部IP给master.

SPARK_MASTER_PORT        从另一个端口启动master(默认: 7077)

SPARK_MASTER_WEBUI_PORT  Master的web UI端口 (默认: 8080),这个端口太经常使用，建议换一个

SPARK_WORKER_PORT       启动Spark worker 的专用端口(默认：随机)

SPARK_WORKER_DIR        伸缩空间和日志输入的目录路径(默认: SPARK_HOME/work);

SPARK_WORKER_CORES      做业可用的CPU内核数量(默认: 全部可用的);

SPARK_WORKER_MEMORY      做业可以使用的内存容量，默认格式1000M或者 2G (默认: 全部RAM去掉给操做系统用的1 GB);注意：每一个做业本身的内存空间由SPARK_MEM决定。

SPARK_WORKER_WEBUI_PORT  worker 的web UI 启动端口(默认: 8081)

SPARK_WORKER_INSTANCES  没太机器上运行worker数量 (默认: 1). 当你有一个很是强大的计算机的时候和须要多个Spark worker进程的时候你能够修改这个默认值大于1 . 若是你设置了这个值。要确保SPARK_WORKER_CORE 明确限制每个r worker的核心数, 不然每一个worker 将尝试使用全部的核心

SPARK_DAEMON_MEMORY      分配给Spark master和 worker 守护进程的内存空间 (默认: 512m)

SPARK_DAEMON_JAVA_OPTS  Spark master 和 worker守护进程的JVM 选项(默认: none)