flume断点续传(概念+代码开发)

并没有完整解决,依靠flume来缓解集群的贷款压力实现部分实时 ​ 使用Flume做日志收集,flume+kafka做日志收集存储,后面接es存历史日志,storm用于实时分析。对于历史日志来说,尽可能做到不丢不重,实际经验内网环境kafka还是很稳定可靠的,丢日志主要发生在flume重启,所以针对flume进行改造,实现断点续传。主要环境及配置,jdk7,flume1.6版本,agent使用内存
相关文章
相关标签/搜索