Spark学习笔记(1)——Spark架构和主要特征

Spark是一个分布式内存计算框架。关键词:分布式,内存。所以学习它要学习它的分布式架构以及它实现高速并行计算的机理。node 架构 主从结构 所谓分布式就是网络中多个主机上能够同时协同工做。全部的分布式框架,不管用于存储仍是计算,分布式结构是前提。大部分分布式框架都是主从式结构。(HDFS是namenode-datanode,YARN是ResourceManager-NodeManager. )
相关文章
相关标签/搜索