从0开始学大数据总结笔记： 三、大数据平台与系统集成

一、大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展现。web 数据采集将应用程序产生的数据和日志等同步到大数据系统中，因为数据源不一样，这里的数据同步系统其实是多个相关系统的组合。数据库同步一般用 Sqoop（Sqoop适合离线批量导入关系数据库的数据，Canle适合实时导入关系数据库的数据。），日志同步能够选择 Flume，打点采集的数据通过格式化转换后经过 Kafka 等

>>阅读原文<<