数据处理相关

一. kafka 处理增量消息

     kafka 原理介绍：http://www.javashuo.com/article/p-tymvshsx-me.html

                                 https://blog.csdn.net/z69183787/article/details/80325743

     很好的一篇文章：http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/

     使用场景：

•       日志收集：一个公司能够用Kafka能够收集各类服务的log，经过kafka以统一接口服务的方式开放给各类consumer，例如hadoop、Hbase、Solr等。
• 　   消息系统：解耦和生产者和消费者、缓存消息等。
• 　  用户活动跟踪：Kafka常常被用来记录web用户或者app用户的各类活动，如浏览网页、搜索、点击等活动，一般这些活动信息被各个服务器发布到kafka的            topic中，而后订阅者经过订阅这些topic来作实时的监控分析，或者装载到hadoop、数据仓库中作离线分析和挖掘。
•       运营指标：Kafka也常常用来记录运营监控数据。包括收集各类分布式应用的数据，生产各类操做的集中反馈，好比报警和报告。
•       流式处理：好比spark streaming和storm
•       事件源

 

 

 

 

二. 大数据处理 ： storm    flink

 

三. mongo   

 

四. leveldb 

 

五. redis