Storm开发中易犯的 小错误

Storm开发中易犯的 小错误

Storm是一个分布式的、容错的实时计算系统，遵循Eclipse Public License 1.0,Storm能够方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm之于实时处理，就比如Hadoop之于批处理。Storm保证每一个消息都会获得处理，并且它很快——在一个小集群中，每秒能够处理数以百万计的消息。可使用任意编程语言来作开发。

Storm的优势
1. 简单的编程模型。相似于MapReduce下降了并行批处理复杂性，Storm下降了进行实时处理的复杂性。
2. 服务化,一个服务框架,支持热部署,即时上线或下线App.
3. 可使用各类编程语言。你能够在Storm之上使用各类编程语言。默认支持Clojure、Java、Ruby和Python。要增长对其余语言的支持，只需实现一个简单的Storm通讯协议便可。
4. 容错性。Storm会管理工做进程和节点的故障。
5. 水平扩展。计算是在多个线程、进程和服务器之间并行进行的。
6. 可靠的消息处理。Storm保证每一个消息至少能获得一次完整处理。任务失败时，它会负责从消息源重试消息。
7. 快速。系统的设计保证了消息能获得快速的处理，使用ZeroMQ做为其底层消息队列。
8. 本地模式。Storm有一个“本地模式”，能够在处理过程当中彻底模拟Storm集群。这让你能够快速进行开发和单元测试。

然而，在开发的过程当中，因为Storm的kill Topology，经常会致使一些莫名的错误，好比下面的一个错误：

形成异常的缘由就是，

没有kill 正在运行的topology，却先kill nimbus和supervisor的storm进程

解决方案：

删除了配置中"storm.local.dir"的文件夹内的内容（这个是致使ＥＲＲＯＲ的主要缘由）

在Zookeeper客户端下   delete   /storm/assignments

在Zookeeper客户端下   delete   /storm/workerbeats

删除 storm目录下的workdir（即配置文件中配置的将TOPOLOGY序列化所放置的文件夹）