YARN的AsyncDispatcher原理

博客原文:hackershellnode

YARN采用了基于事件驱动的并发模型,该模型能极大的提升应用程序并发性,在RM中,几乎全部的事件都经过AsyncDispatcher进行事件的派发.shell

其基本架构图以下:segmentfault

AsyncDispatcher

从基本的架构图能够简单的看出,该模型还须要几个基本的要素,那就是事件(Event),事件类型(EventType)和处理事件对应的处理器(Handler).架构

在HADOOP中,事件被定义以下:并发

public interface Event<TYPE extends Enum<TYPE>> {

  TYPE getType();
  long getTimestamp();
  String toString();
}

事件类型(EventType)则是简单的枚举类svg

主要功能定义事件有哪几种类型:this

public enum NodesListManagerEventType {
  NODE_USABLE,
  NODE_UNUSABLE
}

处理事件的接口spa

主要功能处理相应的事件设计

public interface EventHandler<T extends Event> {
  void handle(T event);
}

Dispatcher经过不一样的事件类型(EventType)找到相应的handler对事件(event)进行处理.code

对于AsyncDispatcher来讲,它实现了Dispatcher接口:

public interface Dispatcher {
  EventHandler getEventHandler();
  void register(Class<? extends Enum> eventType, EventHandler handler);
}

其中有两个基本的方法,registergetEventHandler

register在AsyncDispatcher使用以前就须要先注册eventType和对应的EventHandler,而getEventHandler方法主要则是把事件(event)放入eventQueue中.

接下来在ResourceManager举个简单的例子:

在RM初始化自身基本服务的时候,会把相应的事件类型(EventType)和事件处理器(EventHandler),先注册在AsyncDispatcher上,以便于派发器在事件(event)到来时作出相应的处理.

RM的部分代码:

// Register event handler for RmNodes
this.rmDispatcher.register(RMNodeEventType.class,
    new NodeEventDispatcher(this.rmContext));

其实注册也就是把相应的类型和处理器放到一个HashMap

由于是资源管理方面的服务,因此咱们进入ResourceTrackerService类中,找到nodesListManager这个实例,经过代码能够知道nodesListManager是用来管理节点是否可用,并做出相应的处理

// 2. Check if it's a valid (i.e. not excluded) node
    if (!this.nodesListManager.isValidNode(rmNode.getHostName())) {
      String message =
          "Disallowed NodeManager nodeId: " + nodeId + " hostname: "
              + rmNode.getNodeAddress();
      LOG.info(message);
      shutDown.setDiagnosticsMessage(message);
      this.rmContext.getDispatcher().getEventHandler().handle(
          new RMNodeEvent(nodeId, RMNodeEventType.DECOMMISSION));
      return shutDown;
    }

从代码能够看出,若是节点是非法的,则从Dispatcher获取Handler,并构造一个RMNodeEventType.DECOMMISSION类型的事件,这个RMNodeEvent将会被放到eventQueue中

class GenericEventHandler implements EventHandler<Event> {
    public void handle(Event event) {
      try {
        eventQueue.put(event);
      } catch (InterruptedException e) {

      }
    };
  }

最后由dispatch进行经过传入的RMNodeEventType找到相应的NodeEventDispatcher(即EventHandler),并调用handle进行处理.

总结: 经过了解AsyncDispatcher能够提高本身理解Yarn的工做流程,加深对Yarn的设计实现的了解.

相关文章
相关标签/搜索