Spark on Yarn 解惑

一:Hadoop Yarn解析          1,Yarn是Hadoop推出整个分布式(大数据)集群的资源管理器,负责资源的管理和分配,基于Yarn我们可以在同一个大数据集群上同时运行多个计算框架,例如Spark、MapReduce、Storm等;          2,Yarn基本工作流程如下图所示:          注意:Container要向NodeManager汇报资源信息,Cont
相关文章
相关标签/搜索