Flume 实战案例

采集目录到 HDFS 采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到 HDFS 中去 根据需求,首先定义以下 3 大要素 数据源组件,即 source ——监控文件目录:spooldir spooldir 特性: 1、 监视一个目录,只要目录中出现新文件,就会采集文件中的内容 2、 采集完成的文件,会被 agent 自动添加一个后缀:.COMPLETED
相关文章
相关标签/搜索