设计一套实时分布式日志流收集平台(tail Logs --->HDFS)

目前业界大概这么几个开源的分布式日志系统，notify+rsync，Facebook 的Scribe，apache的chukwa，linkin的kafa和cloudera的flume。 之所以自己设计一台这么一个平台，而没有采用开源，主要是基于这么考虑    1、以上这几种开源日志系统，虽然提供了日志tail实时输出的功能，但是在tail进程宕掉后，无法从收集的点开始收集，只能重新开始，这样有很多

>>阅读原文<<