Flume 实时监控目录下的多个追加文件

Exec source 适用于监控一个实时追加的文件,但不能保证数据不丢失; Spooldir Source 能够保证数据不丢失,且能够实现断点续传,但延迟较高,不能实时监控; Taildir Source 既能够实现断点续传,又可以保证数据不丢失,还能够进行实时监控。 1)案例需求:使用 Flume 监听整个目录的实时追加文件,并上传至 HDFS 2)需求分析: 实现步骤: 1.创建配置文件 f
相关文章
相关标签/搜索