定时关闭flume收集的文件

问题：咱们的项目使用flume收集web产生的日志，输出hdfs上，一天一个文件夹。文件下面就是今天的日志，而后有一个日志分析程序读取天天的日志进行分析，可是日志分析程序一直读不到hdfs上收集的日志，可是查看已经收集的日志文件，文件里面有事有数据的，分析多是文件流一直在打开，致使未关闭的文件中的数据是不能被日志分析程序读取的，后来经一块儿查找，发现hdfs.idleTimeout参数能够定时关闭文件流，文件流关闭后，下次写入的数据就会进入新的文件里面。官方文档接受：连续事件到一个未关闭的文件须要等待的最大时间周期的秒值，设置为0禁用该选项。

hdfs.idleTimeout，使用注意事项：好比值为20，连续20秒没有新的数据写入当前文件，当前文件就会被关闭，而后产生一个新的文件，再有写入的数据就写到新的文件里面；所以要控制好时间，不然会在hdfs上产生太多小文件。

例如：
agent1.sinks.sink1.hdfs.idleTimeout = 20