spark学习笔记一

一.spark与hadoop比较 Spark是一个计算框架相当于Hadoop的MapReduce。Hadoop中是包含计算框架MapReduce和分布式文件系统HDFS,更广泛的讲是还包含其生态系统上的其他系统比如Hbase和Hive等。 Spark相比MapReduce的优点: 1.中间结果的输出 (1)MapReduce的话计算结果会产生很多stage,并且会依赖底层HDFS文件系统来存储每个
相关文章
相关标签/搜索