storm_可靠消息的例子

这是一个比较复杂的例子,含盖的知识面较多。 需求:统计出某文件夹下各文件中,各个单词出现的数次。(同时将文件剪切到另一个目录) 知识点一:多进程/多线程读取同一个文件,需要对文件进行加锁。 知识点二:对单词做统计,所以最好使用按字段分组 知识点三:如何得知一个文件的单词统计完了,需要使用storm的可靠消息机制。 知识点四:当知道某一个文件的单词统计完后,需要将处理这些单词的bolt结果汇总到一个
相关文章
相关标签/搜索