Ubuntu下本地模式的Storm环境搭建

1、Storm相关介绍  

    Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具备最高的摄取率。虽然Storm是无状态的，它经过Apache ZooKeeper管理分布式环境和集群状态。它很简单，您能够并行地对实时数据执行各类操做。

    Apache Storm继续成为实时数据分析的领导者。Storm易于设置和操做，而且它保证每一个消息将经过拓扑至少处理一次。

    本次安装列表：jdk+zookeeper+storm+maven+IDEA

2、安装

1 安装jdk

将下载的java压缩包解压到/usr/local目录下：

sudo tar -zxvf jdk-8u161-linux-x64.gz -C /usr/local
sudo chown -R storm:storm /usr/local/jdk1.8.0_161   #改变文件夹全部者

设置环境变量：

vim ~/.bashrc

在末尾添加：

export JAVA_HOME=/usr/local/jdk1.8.0_161
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

保存并生效：

source ~/.bashrc

验证：

java -version

2 安装zookeeper

下载zookeeper

（cdh5版连接：http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.12.0.tar.gz

apache版连接：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz）

将下载的zookeeper压缩包解压到/usr/local目录下：

sudo tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local
sudo mv /usr/local/zookeeper-3.4.10/ /usr/local/zookeeper  #重命名文件夹
sudo chown -R storm:storm /usr/local/zookeeper   #改变文件夹全部者

设置环境变量：

vim ~/.bashrc

在末尾添加：

export ZK_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZK_HOME/bin

保存并生效：

source ~/.bashrc

修改配置文件

cd /usr/local/zookeeper/conf/   #zookeeper的配置文件目录
cp zoo_sample.cfg zoo.cfg       #拷贝zoo_sample.cfg文件，重命名为zoo.cfg
vim zoo.cfg

若zookeeper为本地模式，则只须要修改dataDir参数的值便可（默认为/tmp/zookeeper）

验证：

3 安装storm

在apache下载storm（连接：https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.2.1/apache-storm-1.2.1.tar.gz）

将下载的storm压缩包解压到/usr/local目录下：

sudo tar -zxvf apache-storm-1.2.1.tar.gz -C /usr/local
sudo mv /usr/local/apache-storm-1.2.1/ /usr/local/storm  #重命名文件夹
sudo chown -R storm:storm /usr/local/storm   #改变文件夹全部者

设置环境变量：

vim ~/.bashrc

在末尾添加：

export STORM_HOME=/usr/local/storm
export PATH=$PATH:$STORM_HOME/bin

保存并生效：

source ~/.bashrc

修改配置文件

cd /usr/local/storm/conf
vim storm-env.sh

指定本身的jdk的home目录，若是已经在环境变量里面设置好了JAVA_HOME，也能够省略这部

4 安装maven（也能用IDEA自带的maven）

下载maven（连接：http://www-us.apache.org/dist/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz）

将下载的maven压缩包解压到/usr/local目录下：

sudo tar -zxvf apache-maven-3.5.2-bin.tar.gz -C /usr/local
sudo mv /usr/local/apache-maven-3.5.2-bin.tar.gz/ /usr/local/maven #重命名文件夹
sudo chown -R storm:storm /usr/local/maven   #改变文件夹全部者

更改配置文件

gedit /usr/local/maven/conf/settings.xml

修改本地仓库目录（可选）

若从国外的源下载较慢，能够选择添加阿里的源

设置环境变量：

vim ~/.bashrc

在末尾添加：

export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$MAVEN_HOME/bin

保存并生效：

source ~/.bashrc

验证

mvn -v

5 安装IDEA

下载IDEA旗舰版（连接：https://download.jetbrains.8686c.com/idea/ideaIU-2017.3.4.tar.gz）

将下载的maven压缩包解压到/usr/local目录下：

sudo tar -zxvf ideaIU-2017.3.4.tar -C /usr/local
sudo mv /usr/local/ideaIU-2017.3.4.tar/ /usr/local/idea #重命名文件夹
sudo chown -R storm:storm /usr/local/idea #改变文件夹全部者

启动idea

cd /usr/local/idea/bin
./idea.sh

过程当中会提示咱们建立桌面快捷方式

6 建立storm项目

新建maven项目

选择本身安装的maven及配置文件（这时会自动选择配置文件里指定的仓库目录）

一直下一步，完成

在pom.xml里添加storm依赖

<!-- https://mvnrepository.com/artifact/org.apache.storm/storm-core -->
<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-core</artifactId>
    <version>1.2.1</version>
</dependency>

最终以下所示

注：在 local mode（本地模式），即用LocalCluster提交的代码能够在使用maven添加须要的jar包后就能够直接运行，由于它是用一个进程来模拟一个storm集群的，因此也不须要安装配置任何storm的环境。