Storm入门,看这篇就够了

时间 2019-11-19

标签 storm 入门看这够了栏目 Storm 繁體版

原文原文链接

部分一：Srorm 简介

1.1 Storm是实时的数据流，Hadoop是批量离线数据

起源背景html

Twitter 开源的一个相似于Hadoop的实时数据处理框架
Storm是由Nathan Marz 在BackType公司【作社交数据分析，数据量大】工做中实现的，这家公司后来被Twitter收购。

Ps:·Hadoop分布式存储和分布式计算两个难题所有解决了。可是缺点就是不能实时处理数据，Storm的做者就像写一个这样实时数据处理场景的框架出来java

1.2 Storm应用场景【实时处理数据】

推荐系统：实时推荐，根据下单或加入购物车等操做
网站统计：实时销量，流量统计
监控预警系统，金融系统

1.3Storm特性

扩展性强，当计算能力不足时，能够进行横向扩展机器
保证数据不丢失，且数据能够消费一次或屡次
容错性好，消息处理过程出现异常，会进行重试
语言无关性：storm程序可使用各类语言进行编写

部分2 Storm原理

2.1拓展：大数据框架都有哪些架构类型？

主从架构：简单高效，单主节点存在单点问题
HDFS\YARN\Storm\Hbase\Spark\Flinknode

对称架构：复杂，效率较低，无单点问题，更加可靠
Zookeeper\Kafka [会进行主节点的选举]python

Storm的主从架构linux

Nimbus 主节点
Sipervisor 从节点

Nimbus—zookeeper--supervisor程序员

Storm组件：Nimbusapache

接收客户端的topo代码，拆分红多个task,将task信息存入zk，并将task分配给Supervisor,将映射关系存入ZK，并进行故障检测vim
类比：部门经理将需求拆分为多个任务（每一个任务有多个模块）将这些任务写入项目文档中去，，并将每一个任务与每一程序员进行对应服务器

Storm组件：Supervisor架构

从Nimbus目录读取代码，从zk上读取Nimbus分配的task
启动工做进程Worker
监控每个工做进程Worker

Storm 组件：Worker

从zk上读取分配的task,并计算出task须要给哪些task发信息
启动一个或多个Execucor线程执行任务Task

Storm组件：Zookeeper

Nimbus与Supervisor进行通讯（分配任务与心跳）
Supervisor与Worker进行通讯（分配任务和心跳）
Nimbus高可用（HA机制）

动手实践

Zookeeper简介与集群配置【Storm的各个组件间是经过这个组件进行通讯】
Zookeeper 的核心，单机和集群的配置方法
Storm的单机和集群环境的搭建

部分3.Zookeeper简介与集群配置【Storm的各个组件间是经过这个组件进行通讯】

简介：
Zookeeper是一个开源的分布式协调服务的框架，使各个机器进行之间进行通讯

3.1核心功能：

文件系统
通知机制

文件系统：
相似于linux的文件系统目录结构，从根目录（/）开始

1.每个目录都是一个znode节点

2.每个znode节点可直接存储数据

3.类型：持久化，持久化顺序，临时，临时顺序

通知机制：

客户端监听关心的znode节点
Znode节点有变化（数据改变、删除、子目录添加删除），通知客户端处理

3.2 zookeeper的安装

下载：直接去官网：zookeeper.apache.org或CDH5进行下载
/opt/soft [下载位置]
/opt/module 【解压位置】
下载 .tar.gz
解压 tar –zxvf tar.gz –C /apps

解压后的主要目录结构：
bin：包含

zkCli.sh 【命令行客户端，能够去链接到这个文件系统，相似于hadoop fs】
zkCleanup.sh [zk是一个小型文件系统，用于清理数据信息，保证各个节点的数据一致]
zkEnv.sh [环境变量的一些东西]
zkServer.sh 【zk服务器的启动中止等操做】

conf:包含

log4j.properties 日志输出级别
zoo_sample.cfg mv zoo_sample.cfg zoo.cfg
[tickTime:客户端与zk服务器的心跳时间，各个znode节点也要保持心跳]
InitLimit 启动集群时候，选举Nimbus节点的最大时间 tickTime* InitLimit
SyncLimit 集群中各个znode节点进行数据同步时候，保持数据一致性，进行数据同步的最大时间，超过这个时间，数据会同步失败
dataDir zookeeper是一个小型的文件系统，将数据存放在哪里配置
clientPort 客户端访问zk服务器的端口号2181去链接到这个服务器

在解压后的目录新建一个data的目录用于存放zk的数据
将$ZK_HOME/data 替换conf/zoo.cfg 中的dataDir

启动bin/zkServer.sh start
Jps
Or
bin/zkServer.sh status

standalone状态

3.3 zk的命令行客户端

去链接zk服务器
bin/zkCli.sh
这样会链接本地的zk服务器‘
里面的操做相似于linux的操做
输入ls
查看根目录有什么 ls /
查看目录下面的数据 get /
建立目录 create /test 111
查看数据 get /test 获得111
修改数据 set /test 222
再次查看： get /test 获得222
删除数据rmr /test
再次查看 ls / 无test目录

3.4 zookeeper的集群搭建（推荐1,3,5这样的节点数，在进行节点选举的时候，保证能选举一个主节点出来）

启动三个机器
配置第一台
步骤一：在单机的基础（解压后修改dataDir的目录）上，添加配置项
server. 这个id是惟一的
2888端口服务器之间是须要进行数据的同步的
3888端口集群在启动的时候进行选举Nimbus节点

server.1=192.168.1.1:2888:3888
server.2=192.168.1.2:2888:3888
server.3=192.168.1.3:2888:3888
步骤二：在什么地方进行存储，当前机器是哪个ID
在$ZK_HOME/data 目录下新建文件myid 用于存储这个id
Vim $ZK_HOME/data/myid 写入1 ：wq便可
步骤三：拷贝第一台服务器到其他两台服务器上面去

Scp –r zookeeper-3.4.5/ root@192.168.1.2:/opt/module
便可
在这以前能够配置ssh的免密码登陆

拓展：
1.HOSTNAME主机名：vim /etc/sysconfig/network

2.配置ip与主机名之间的映射关系
Vim /etc/hosts
192.168.1.1 hadoop001
192.168.1.2 hadoop002
192.168.1.3 hadoop003

启动zk集群
在每一台上面都要进行启动，bin/zkServer.sh start
Bin/zkServer.sh status 状态为：leader 主节点
Bin/zkServer.sh status 状态为：follower 从节点

ZKcli从1-2-3
192.168.1.1可使用bin/zkCli.sh -server 192.168.1.2:2181
进入以后，connect 192.168.1.3:2181

部分4 Storm的安装配置

单机环境的安装配置
下载啊storm.apache.org 或CDH5 1.1.0 ，1.2.1等版本
解压 tar –zxvf storm.tar.gz –C /opt/module

Storm的启动是须要依赖于zookeeper服务的
在这以前，先使用单个zk服务（单节点）

Storm解压后的目录
bin 包含

storm 核心脚本，能够经过这个脚本进行启动
Storm.py 是一个python脚本

Conf 包含

Storm.yaml最核心的配置文件
storm.zookeeper.servers
nimbus.seeds
drpc.servers
暂时不作任何修改

启动主节点
bin/storm nimbus &
启动从节点
bin/storm supervisor &
启动UI
bin/storm ui &
启动日志
bin/storm logviewer &

ps：nohup java –jar hh.jar &
nohup + & 客户端和虚拟机是不须要保持链接的，即当前输入的命令界面是能够进行关闭的

Storm性能调优
为了解决数据不一致的问题，咱们先把zookeeper的data目录下先删除,保持一致
每一个机器上执行
rm –rf $ZK_HOME/data
mkdir $ZK_HOME/data
vim $ZK_HOME/data/myid 写入相应的 1,2,3等：wq

每一个机器上启动zookeeper
bin/zkServer.sh start

开始配置storm的单机环境为集群环境配置

Vim #STORM_HOME/conf/storm.yaml
storm.zookeeper.servers:

“192.168.1.1”
“192.168.1.2”
“192.168.1.3”
Nimbus.seeds: [“192.168.1.1”,”192.168.1.2”]

就简单作这样的操做就能够了
接着拷贝storm文件到其他的机器上面去

就能够启动storm了

启动主节点【第一台机器上】
Nohup bin/storm nimbus &
启动从节点【第二台机器上】
Nohup bin/storm supervisor &
启动UI
能够在第一台也能够在第二台上面
nohup bin/storm ui
WebUI查看：
192.168.1.2:8080/index.html

这里能够作节点故障转义的实验

更多文章 Storm构建实时流处理 https://blog.csdn.net/liuge36/article/category/8004011