详解scribe+flume搭建高可用的负载均衡日志收集系统入hadoop和kafka

1、系统架构 为加强系统的可靠性，flume系统分为agent层和collector层java agent层是每一个每一个须要收集日志的主机，有若干台，可自由扩展；每台agent机器运行一个carpenter程序将相应目录下的日志信息发送给本机上的flume source，对应avro sink将数据推送到两台collector（采用均衡负载的方式推送，若其中一台collector故障则所有推送给

>>阅读原文<<