大数据之日志分析步骤

日志分析处理步骤 数据采集 Flume：将web日志写入HDFS中 数据清洗： Spark、Hive、MapReduce或者其他分布式框架，去除不符合要求的数据，清洗完之后的数据可以存放在HDFS中 数据处理：按照需求，进行相应的业务统计和分析，使用Spark、Hive、MapReduce或者其他分布式框架，去除不符合要求的数据 处理结果的存放 结果可以存放在RDBMS或者Nosql数据库中 数据

>>阅读原文<<