flume基本介绍

flume是一个日志收集的框架，配置简单，在大数据很多场景下都有应用，api也很简单，可以移步到官方文档中查看，但是在flume的应用中，发现有两个弊端，①配置只支持配置文件的方式，无法嵌入逻辑，如采集某个字段，将日志进行逐条过滤等；②偶尔出现丢失数据的情况，尤其是在对接kafka的场景下；针对第一种，可以采用logstash的技术，可以完成写逻辑，过滤等需求； 在一个完整的大数据处理系统中，除了

>>阅读原文<<