实时分析、离线线分析、流式计算的区别

离线计算: 批量获取数据、批量传输数据、周期性批量计算数据、数据展现mysql

表明技术:Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度sql

 

实时计算,强调的是实时,数据实时计算、结果实时展现缓存

 

流式计算:数据实时产生、数据实时传输、数据实时计算、实时展现 表明技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。 一句话总结:将源源不断产生的数据实时收集并实时计算,尽量快的获得计算结果,用来支持决策。oop

相关文章
相关标签/搜索