flume+kafka+hdfs构建实时消息处理系统

flume是一个实时消息收集系统，它定义了多种的source、channel、sink，可以根据实际情况选择。 Flume下载及文档： http://flume.apache.org/ Kafka kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬

>>阅读原文<<