网站日志流量系统----【数据采集模块、数据预处理模块】

1. 模块开发----数据采集 1.1 需求 在网站 web 流量日志分析这种场景中，对数据采集部分的可靠性、容错能力要求通常不会非常严苛，因此使用通用的 flume 日志采集框架完全可以满足需求。 1. 2 Flume 日志采集系统 1.2.1 Flume 采集 Flume 采集系统的搭建相对简单： 1、在服务器上部署 agent 节点，修改配置文件 2、启动 agent 节点，将采集到的数据汇

>>阅读原文<<