YARN
- YARN(Yet Another Resource Negotiator)经过两类长期运行的守护进程(daemon)提供核心服务,a resource manager(每个集群只有一个)来管理集群资源,node manager在集群中全部节点上运行,启动和监控容器。一个容器运行一个特别的应用进程,分配必定的资源(内存,cpu)
- 在YARN上执行一个应用,客户端访问resource manager来执行一个应用主进程,resource manager找到一个node manager来运行应用主进程在一个容器中。
- 一个应用进程能够在容器中执行一个简单的计算,也能够再申请一个nodemanager来执行分布式计算
- YARN自己不提供应用的任何部分,使用RPC层来进行远程沟通,传递状态,更新属性,返回结果。
- 一个YARN应用能够申请资源在任什么时候候,它能够所有申请完在运行开始,也能够动态的申请来知足需求的变化
- Sprak是一次性申请完,MapReduce则是Map阶段申请完,Reduce动态申请。
- 应用的生命周期(Application Lifespan)很普遍,能够几秒也能够几天甚至几个月。一般能够对用户的job进行分类,有的是一个job就对应一个应用,例如mapreduce。另一个模型是一个workflow或者(user session不太理解)job对应一个应用,这种模型比第一个高校点,由于应用能够复用。同时中间数据也能够缓存下来,Spark使用这种模型。
- 第三种模型是不一样用户共享的一个长期执行的应用。这类应用通畅扮演一种协调角色。(impla是这种)

欢迎关注本站公众号,获取更多信息