10.1 spark core — spark内核

spark是开源的分布式计算框架(源码是scala编写的) http://spark.apache.org/ 计算速度加快 编写加快 hadoop:在hdfs读取-->计算结果存到hdfs-->二次计算依然在hdfs上读取-->输出 spark:在hdfs上读取-->计算结果存在内存中-->二次计算在内存中读取-->输出结果可以保存到hdfs上 spark有四种运行模式: local:多用在本地e
相关文章
相关标签/搜索