flume+kafka+storm整合实现实时计算小案例

    我们做数据分析的时候常常会遇到这样两个场景，一个是统计历史数据，这个就是要分析历史保存的日志。我们会使用hadoop，具体框架可以设计为： 1.flume收集日志； 2.HDFS输入路径存储日志； 3.MapReduce计算，将结果输出到HDFS输出路径； 4.hive+sqoop实现将结果转储到mysql 5.我们会使用crontab定时执行一个脚本来做 具体这里就不展开来说了，我会在另

>>阅读原文<<