数据采集阶段技术对比（flume，kafka，sqoop）

数据采集技术 数据收集架构   Kafka架构图 集群由zookeeper管理 Kafka的特点： 1. 磁盘存储 2. 高吞吐率（每秒几十万条消息） 3. 分布式架构，能对消息进行分析 4. 将数据并行加载到hadoop分区   Flume 架构图 1. agent：就是将数据源的数据发送给collector 2. Collector：将数据源汇总给storage 3. Storage ：存储数

>>阅读原文<<