基于SparkStreaming对银行日志处理系列--整体技术框架

基于SparkStreaming对银行日志分析，实时技术架构图 通过flume实时采集原日志，送到kafka缓存，SparkStreaming准实时从kafka拿数据，经过ETL、聚合计算送到redis，供前端展示，具体技术及代码见后面博客； 除了实时部分，还有离线这一块，技术框架如下： 前面都一样，只是通过SparkStreaming ETL后，不聚合计算直接插入hbase，供做离线批量和历史查

>>阅读原文<<