大数据技术之Flink电商用户行为分析系统（用户画像）

一、主流的批处理和流处理框架 Hadoop中的MapReduce只能做离线计算，也就是批处理，并且基于磁盘计算，属于IO密集型，Shuffle阶段需要大量算力，并且只有map和reduce。 Spark作为一个微批处理的大数据计算框架，主要作用就是类似MapReduce，Spark Streaming可以实现传统意义上的流式计算，但是正如开头所说，属于微批处理，并不是完全的实时，但是Spark基于

>>阅读原文<<