Spark初探-搭建

Spark 1.用于集群上的计算框架,海量数据处理。 2.不使用MapReduce作为执行引擎。使用自己的分布式运行时。 3.与MapReduce在接口和运行时方面一致。 可与Hadoop高度集成。可运行在YARN上使用Hadoop file 格式和存储终端上比如HDFS 特点:可以保存大量数据集在内存中供多个jobs使用。使得性能(在数量和其它更多方面)比MapReduce(数据集从磁盘上加载)
相关文章
相关标签/搜索