YARN

  1. YARN(Yet Another Resource Negotiator)经过两类长期运行的守护进程(daemon)提供核心服务,a resource manager(每个集群只有一个)来管理集群资源,node manager在集群中全部节点上运行,启动和监控容器。一个容器运行一个特别的应用进程,分配必定的资源(内存,cpu)
  2. 在YARN上执行一个应用,客户端访问resource manager来执行一个应用主进程,resource manager找到一个node manager来运行应用主进程在一个容器中。
  3. 一个应用进程能够在容器中执行一个简单的计算,也能够再申请一个nodemanager来执行分布式计算
  4. YARN自己不提供应用的任何部分,使用RPC层来进行远程沟通,传递状态,更新属性,返回结果。
  5. 一个YARN应用能够申请资源在任什么时候候,它能够所有申请完在运行开始,也能够动态的申请来知足需求的变化
  6. Sprak是一次性申请完,MapReduce则是Map阶段申请完,Reduce动态申请。
  7. 应用的生命周期(Application Lifespan)很普遍,能够几秒也能够几天甚至几个月。一般能够对用户的job进行分类,有的是一个job就对应一个应用,例如mapreduce。另一个模型是一个workflow或者(user session不太理解)job对应一个应用,这种模型比第一个高校点,由于应用能够复用。同时中间数据也能够缓存下来,Spark使用这种模型。
  8. 第三种模型是不一样用户共享的一个长期执行的应用。这类应用通畅扮演一种协调角色。(impla是这种)

相关文章
相关标签/搜索
本站公众号
   欢迎关注本站公众号,获取更多信息