大数据案例 -- 互联网日志实时收集和实时计算的简单方案

原文: http://lxw1234.com/archives/2015/11/569.htm 整理:大数据肌肉猿 --- 作为互联网公司,网站监测日志当然是数据的最大来源。我们目前的规模也不大,每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完成,之前,业务中对实时的要求并不高,最多也就是准实时(延迟半小时以上),因此,我们使用Flume将数据收集到HDFS,然后进行清洗和分析。
相关文章
相关标签/搜索