实时日志监控系统-全览

大数据处理，大体能够分为两大模块：html 离线数据处理：好比说电商、运营商出现的大批量的日志，能够由flume、sqoop或者其余路径，导入到HDFS中，而后通过数据清洗，使用Hive进行分析和处理，对于优化服务器资源等有很好的做用；我的以为，支付宝的年帐单就是离线数据处理的应用之处了。 实时数据处理：对于有些业务须要，可能次日或者更晚的时候进行分析可有可无，但对于一些高频的金融交易来讲，实时性

>>阅读原文<<