Flume采集HDFS audit log日志至HDFS

一、背景 HDFS的audit log产生数据量很大，速度也很快，在机器系统盘上必须当即持久化到HDFS，不然数据会被覆盖或者磁盘会打满。 用于数据治理-HDFS废弃文件、Hive废弃表检测与清理。html 二、实现 ① Apache Flume官网下载最新版本的Flume。 ② 配置audit_log_hdfs.confweb # 一个channel一个source 配置3个sink a1.s

>>阅读原文<<