大数据采集架构

概述 一般来说，当在Hadoop集群上，有足够数据处理的时候，通常会有很多生产数据的服务器。这些服务器的数量上百甚至成千上万。小的数据还可以直接从应用程序写入HDFS，但庞大数量的服务器试着将海量数据直接写入HDFS或者HBase集群，会因为多种原因导致重大问题。 所以这个中间系统（数据采集系统）就是将应用程序发送过来的信息转发到分布式的后台服务器集群上， ChuKwa ChuKwa是一个开源的用

>>阅读原文<<