Centos6.5下Storm1.1.1安装配置

一、安装storm前必须安装好Zookeeper,并成功启动,见之前的博客

二、下载storm1.1.1,地址:http://storm.apache.org/downloads.html

三、  (先启动zookeeper)

          192.168.120.201 部署nimbus,启动UI;

          192.168.120.202  部署supervisor

          192.168.120.203  部署supervisor

四、详细过程:

1、把安装包放到三台服务器的指定目录下,此时选择 /usr/local/ 下;

以部署nimbus为例,supervisor部署只有一点不同:

2、进行解压

   > tar -zxvf storm1.1.1.tar.gz

  >mv storm1.1.1 /usr/local/storm   (把名字改的简单点)

3、修改环境变量:

  >vi /etc/profile

添加:

并使之生效:

  > source /etc/profile

4、输入strom version查看版本信息

表示以上步骤都成功

5、在storm文件夹里创建一个存放数据的目录:

  >mkdir data

6、修改配置文件:

进入到storm文件夹下的conf目录下

  >vi storm.yarm

由于zookeeper集群是搭建在同一个服务器的不同端口上,所以只有ports不同

storm.zookeeper.servers是代表搭建的zookeeper集群的ip,不带端口号

storm.zookeeper.ports是关于zookeeper的端口号,与servers上的ip对应

storm.local.dir是刚刚创建data的目录地址

nimbus.seeds是之前指定的ip

ui是启动网页时的端口号,只需要在nimbus的配置文件中指定,另外两个supervisor的配置文件中可以不写

7、在上述配置文件中遇到的坑:

由于yarm文件的格式十分的严格,所以格式需要特别注意

(1)不能使用tab键补齐,需要空格,比如上面的servers和ports下面的八个空格,否则会报如下的错误:

(2)每个属性顶头写,冒号后面留一个空格

8、说明:

    1、storm.zookeeper.servers是指定zookeeper的服务地址。

因为storm的存储信息在zookeeper上,所以要配置zookeeper的服务地址。如果zookeeper是单机就只用指定一个!

    2、storm.local.dir 表示存储目录。

Nimbus和Supervisor守护进程需要在本地磁盘上存储一个目录来存储少量的状态(比如jar,confs等等)。可以在每台机器创建,并给于权限。

    3、nimbus.seeds 表示候选的主机。

worker需要知道那一台机器是主机候选(zookeeper集群是选举制),从而可以下载 topology jars 和confs。

    4、supervisor.slots.ports 表示worker 端口。

对于每一个supervisor机器,我们可以通过这项来配置运行多少worker在这台机器上。每一个worker使用一个单独的port来接受消息,这个端口同样定义了那些端口是开放使用的。如果你在这里定义了5个端口,就意味着这个supervisor节点上最多可以运行5个worker。如果定义3个端口,则意味着最多可以运行3个worker。在默认情况下(即配置在defaults.yaml中),会有有四个workers运行在 6700, 6701, 6702, and 6703端口。

supervisor并不会在启动时就立即启动这四个worker。而是接受到分配的任务时,才会启动,具体启动几个worker也要根据我们Topology在这个supervisor需要几个worker来确定。如果指定Topology只会由一个worker执行,那么supervisor就启动一个worker,并不会启动所有。

注: 这些配置前面不要有空格!!!,不然会报错。 这里使用的是主机名(做了映射),也可以使用IP。实际的以自己的为准。

可以使用scp命令或者ftp软件将storm复制到其他机器上

 

成功配置之后,然后就可以启动Storm了,不过要确保JDK、Zookeeper已经正确安装,并且Zookeeper已经成功启动。

9、nimbus配置完成,两个supervisor配置同上,只不过配置文件中不写ui: 8080这一句

10、切换到storm/bin目录下,启动:

(1)启动nimbus:

  >./storm nimbus &  (后台运行)

或者

   >./storm nimbus >/dev/null 2>&1 &

(2)访问web界面:

   >./storm ui

(3)启动两个supervisor:

   >./storm supervisor &    (后台运行)

或者:

    >./storm supervisor >/dev/null 2>&1 &

启动成功后:

打开网址:http://192.168.120.201:8080/index.html

即可看到下面页面内容