kafka消息队列

在现有的工程项目中，经常需要对用户的实时log进行处理，实时log主要是通过kafka进行记录，分两个部分，一部分通过kafka进行切片后存储在hdfs中，另一部分也可以提供实时的kafka数据，方便实时的处理。 消息队列： 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位

>>阅读原文<<