大数据框架略解:Hadoop、Yarn、Spark、Hbase

一、大数据框架 二、hadoop核心组件 Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。 (1)HDFS集群:负责海量数据的存储。 (2)YARN集群:负责海量数据运算时的资源调度。 (3)MapReduce:在分布式计算框架上的可自定义设计框架,使用只需要定义其功能,而不用取考虑分布式并行计算的细节。 (1)HDFS集群 HDFS简化了文件的
相关文章
相关标签/搜索