Flume 实战案例

采集目录到 HDFS
采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到 HDFS 中去

根据需求，首先定义以下 3 大要素
数据源组件，即 source ——监控文件目录：spooldir spooldir 特性：
1、 监视一个目录，只要目录中出现新文件，就会采集文件中的内容
2、 采集完成的文件，会被 agent 自动添加一个后缀：.COMPLETED
3、 所监视的目录中不允许重复出现相同文件名的文件 下沉组件，即 sink——HDFS 文件系：hdfs sink 通道组件，即 channel——可用 file channel 也可以用内存 channel

配置文件编写：spooldir-hdfs.properties



Channel 参数解释： capacity：默认该通道中最大的可以存储的 event 数量 trasactionCapacity：每次最大可以从 source 中拿到或者送到 sink 中的 event 数量 keep-alive：event 添加到通道中或者移出的允许时间
bin/flume-ng agent -c conf -f agentconf/spooldir-hdfs.properties -n agent1
测试：
1、 如果 HDFS 集群是高可用集群，那么必须要放入 core-site.xml 和 hdfs-site.xml 文件到
$FLUME_HOME/conf 目录中
2、 查看监控的/home/hadoop/logs 文件夹中的文件是否被正确上传到 HDFS 上
3、 在该目录中创建文件，或者从其他目录往该目录加入文件，验证是否新增的文件能被自
动的上传到 HDFS

采集文件到 HDFS
采集需求：比如业务系统使用 log4j 生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到 HDFS

根据需求，首先定义以下 3 大要素
采集源，即 source–监控文件内容更新：exec “tail -F file” 下沉目标，即 sink–HDFS 文件系：hdfs sink
Source 和 sink 之间的传递通道——channel，可用 file channel 也可以用内存 channel

配置文件编写：tail-hdfs.properties
启动： bin/flume-ng agent -c conf -f agentconf/tail-hdfs.properties -n agent1 测试： 1、 模拟像指定的日志文件/home/hadoop/logs/catalina.out 追加内容 2、 验证 HDFS 上的对应文件是否有新增内容