hadoop、spark、sparkstrming和kafka简介

1、Hadoop和Spark的关系 Spark是为了跟Hadoop配合而开发出来的,不是为了取代Hadoop,专门用于大数据量下的迭代式计算。 Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后,会将数据的运算结果从内存写入到磁盘中,第二次MapReduce运算时再从磁盘中读取数据,所以其瓶颈在2次运算间的多余I/O消耗。Spark则是将
相关文章
相关标签/搜索