大数据之日志分析步骤

日志分析处理步骤 数据采集 Flume:将web日志写入HDFS中 数据清洗: Spark、Hive、MapReduce或者其余分布式框架,去除不符合要求的数据,清洗完以后的数据能够存放在HDFS中 数据处理:按照需求,进行相应的业务统计和分析,使用Spark、Hive、MapReduce或者其余分布式框架,去除不符合要求的数据 处理结果的存放 结果能够存放在RDBMS或者Nosql数据库中 数据
相关文章
相关标签/搜索