2分钟读懂大数据框架Hadoop和Spark的异同

谈到大数据，相信你们对Hadoop和Apache Spark这两个名字并不陌生。但咱们每每对它们的理解只是提留在字面上，并无对它们进行深刻的研究，下面不妨跟我一块看下它们究竟有什么异同。

解决问题的层面不同

首先，Hadoop和Apache Spark二者都是大数据框架，可是各自存在的目的不尽相同。Hadoop实质上更可能是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不须要购买和维护昂贵的服务器硬件。

同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到史无前例的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。

二者可合可分

Hadoop除了提供为你们所共识的HDFS分布式数据存储功能以外，还提供了叫作MapReduce的数据处理功能。因此这里咱们彻底能够抛开Spark，使用Hadoop自身的MapReduce来完成数据的处理。

相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，因此，它必须和其余的分布式文件系统进行集成才能运做。这里咱们能够选择Hadoop的HDFS,也能够选择其余的基于云的数据系统平台。但Spark默认来讲仍是被用在Hadoop上面的，毕竟，你们都认为它们的结合是最好的。

如下是天地会珠海分舵从网上摘录的对MapReduce的最简洁明了的解析，其中把人理解成计算机就行了:

咱们要数图书馆中的全部书。你数1号书架，我数2号书架。这就是Map。咱们人越多，数书就更快。

如今咱们到一块儿，把全部人的统计数加在一块儿。这就是Reduce。

Spark数据处理速度秒杀MapReduce

Spark由于其处理数据的方式不同，会比MapReduce快上不少。MapReduce是分步对数据进行处理的，从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等; Booz Allen Hamilton的数据科学家Kirk Borne如此解析。

反观Spark，它会在内存中以接近实时的时间完成全部的数据分析，从集群中读取数据，完成全部必须的分析处理，将结果写回集群，完成， Born说道。Spark的批处理速度比MapReduce快近10倍，内存中的数据分析速度则快近100倍。

若是须要处理的数据和结果需求大部分状况下是静态的，且你也有耐心等待批处理的完成的话，MapReduce的处理方式也是彻底能够接受的。

但若是你须要对流数据进行分析，好比那些来自于工厂的传感器收集回来的数据，又或者说你的应用是须要多重数据处理的，那么你也许更应该使用Spark进行处理。

大部分机器学习算法都是须要多重数据处理的。此外，一般会用到Spark的应用场景有如下方面：实时的市场活动，在线产品推荐，网络安全分析，机器日记监控等。

灾难恢复

二者的灾难恢复方式迥异，可是都很不错。由于Hadoop将每次处理后的数据都写入到磁盘上，因此其天生就能颇有弹性的对系统错误进行处理。

Spark的数据对象存储在分布于数据集群中的叫作弹性分布式数据集(RDD: Resilient Distributed Dataset)中。这些数据对象既能够放在内存，也能够放在磁盘，因此RDD一样也能够提供完成的灾难恢复功能，Borne指出。

转载自和讯新闻

关于更多大数据相关资讯>>>