如何运行Spark集群的Standalone模式

我本身翻译自Spark的官网：http://spark.apache.org/docs/latest/spark-standalone.html#starting-a-cluster-manually

以前看了不少中文资料，看得云里雾里，还不如直接看官网呢！既权威又简洁明了。

 

Spark集群有三种运行模式：Standalone、Mesos和YARN模式。

 

如今说Standalone模式。这是最简单的模式，Spark靠本身就能运行这个模式(不依靠其它集群管理工具)。

 

方法一：手动运行Standalone模式。

前提：Spark各个文件都不作任何修改。

一、在master机器上运行 ./sbin/start-master/sh

运行完以后，会打印出url: spark://HOST:PORT ，这个就是当前master的Spark URL。

二、在slave机器上运行 ./sbin/start-slave.sh <master-spark-url>

而后在Master的管理界面上查看http://master-ip:8080，查看slave是否已上线。

 

方法二：使用集群运行脚本运行Standalone模式。

前提：master节点去访问slave节点须要使用ssh无密码登陆，所以须要提早配置无密码登陆。

一、在master的conf文件夹下新增slaves文件。slaves文件里存放着每个slave节点的hostname，每行一个。

二、在master节点上运行以下脚本便可：

 

• sbin/start-master.sh - 在本机上运行master节点
• sbin/start-slaves.sh - 根据slaves文件在每台机器上运行slave节点
• sbin/start-slave.sh - 在本机上运行slave节点
• sbin/start-all.sh - 运行全部的master和slave节点
• sbin/stop-master.sh - 关闭本机上运行的master节点
• sbin/stop-slaves.sh - 关闭slaves文件里设定的每个slave节点
• sbin/stop-all.sh - 关闭全部的master和slave节点

 

完毕。