spark介绍

spark介绍 spark是由加州伯克利大学的AMP实验室开发的一个通用的并行计算框架,2009年发布,2010年开源,是一个针对大规模数据处理的通用的分析引擎。spark也是基于map&reduce算法实现的一个分布式计算框架。 速度 从官网的介绍可以看出,spark的速度是mapreduce的100倍以上,即使是使用纯磁盘存储,速度也是mapreduce的10倍以上。 spark快的主要原因是
相关文章
相关标签/搜索