Storm基本知识总结

Storm是一个开源的分布式实时计算系统,能够简单、可靠的处理大量的数据流。Storm的部署和运维都很便捷,并且更为重要的是可使用任意编程语言来开发应用数据库

storm:实时计算系统编程

            低延迟,高性能,分布式,可扩展,容错缓存

特色:简单编程模型,热部署,各类编程语言,可扩展,容错,可靠消息处理,快速,本地模式框架

storm基本概念:运维

        Nimbus:负责资源分配和任务调度编程语言

        Supervisor:负责接受nimbus分配的任务,启动和中止属于本身管理的worker进程分布式

        Worker:运行具体处理组件逻辑的进程ide

        Task:worker中每个spout/bolt的线程称为一个task,在storm0.8后,task不在与物理线程对应,同一个spout/bolt的task可能会共享一个物理线程,该线程称为executor函数

        Topology:storm中运行的一个实时的应用程序,由于各个组件间的消息流动造成逻辑上的一个拓扑结构性能

        Spout:在一个topology中产生源数据的组件。一般状况下spout会从外部数据源中读取数据,而后转换为topology的内部的源数据。spout是一个主动的角色,其接口中有一个nextTuple()的函数。storm框架会不停的调用此函数,用户只要在其中生成源数据便可。

        Bolt:在一个topology中接受数据而后执行处理的组件。Bolt能够执行过滤、函数操做、合并、写数据库等任何操做。Bolt是一个被动的角色,其接口中有个execute(Tupleinput)函数,在接受到消息后会调用此函数,用户能够在其中执行本身想要的操做。

        Tuple:一次消息传递的基本单元。原本应该是一个key-value的map,可是因为各个组件间的传递的tuple的字段名称已经事先定义好,因此Tuple中只要按序填入各个value就好了,是一个valueList。

        Stream:源源不断传递的Tuple就组成了stream.

 

Strom使用场景:

1.流聚合:把两个或者多个数据流聚合成一个数据流-基于一些共同的tuple字段。

2.批处理:为了性能或者一些别的缘由,把一组tuple一块儿处理,而不是一个一个的单独处理。

3.BasicBolt

a.读一个输入的tuple

b.根据一个输入tuple发射一个或多个tuple

c.在execute的方法的最后ack那个输入tuple遵循这类模式的bolt通常是函数或者是过滤器,这种模式太常见,storm为这类模式单独封装了一个接口:IbasicBolt

d.内存内缓存+Fields grouping组合

e.据算topN

f.用TimeCacheMap来高效的保存一个最近被更新对象的缓存

g.分布式RPC

storm分组机制

1.随机分组(Shuffle grouping)

2.字段分组(Fields grouping)

3.所有分组(All grouping)

4.全局分组(Global grouping)

5.无分组(None grouping)

6.直接分组(Direct grouping)

7.实现CustomStreamGrouping接口来定义本身的分组