基于Flume的美团日志收集系统(二)改进和优化

在前文中，我们详述了基于Flume的美团日志收集系统的架构设计，以及为什么做这样的设计。在本节中，我们将会讲述在实际部署和使用过程中遇到的问题，对Flume的功能改进和对系统做的优化。 1 Flume的问题总结 在Flume的使用过程中，遇到的主要问题如下： a. Channel“水土不服”：使用固定大小的MemoryChannel在日志高峰时常报队列大小不够的异常；使用FileChannel又导

>>阅读原文<<