HDFS+Spark(Hive On Spark)+Flume/Shell架构进行大数据分析

前言 公司需要对数据进行运营分析，为了满足运营大数据分析的需求，决定采用hadoop进行数据分析查询 经过研究打算采用如下架构 游戏服通过http方式把日志消息写入到BI服务器，BI服务器通过log4j记录日志信息。然后把日志文件导入HDFS中，通过Spark进行数据的统计查询。 这里把日志文件导入HDFS中有两种方法： 1、flume 定时把日志文件拷贝到flume监控的目录下，然后flume就

>>阅读原文<<