【Spark2.0源码学习】-7.Driver与DriverRunner

     承接上一节内容，Client向Master发起RequestSubmitDriver请求，Master将DriverInfo添加待调度列表中（waitingDrivers），下面针对于Driver进一步梳理

 

1、Master对Driver资源分配

     大体流程以下：

     

     waitingDrivers与aliveWorkers进行资源匹配,

• 在waitingDrivers循环内，轮询全部aliveWorker
• 若是aliveWorker知足当前waitingDriver资源要求，给Worker发送LaunchDriver指令并将 waitingDriver移除waitingDrivers，则进行下一次waitingDriver的轮询工做
• 若是轮询完全部aliveWorker都不知足waitingDriver资源要求，则进行下一次waitingDriver的轮询工做
• 全部发起的轮询开始点都上次轮询结束点的下一个点位开始

 

2、Worker运行DriverRunner

Driver的启动，流程以下：

• 当Worker遇到LaunchDriver指令时，建立并启动一个DriverRunner
• DriverRunner启动一个线程【DriverRunner for [driverId]】处理Driver启动工做
• 【DriverRunner for [driverId]】：
• • 添加JVM钩子，针对于每一个diriverId建立一个临时目录
  • 将DriverDesc.jarUrl经过Netty从Driver机器远程拷贝过来
  • 根据DriverDesc.command模板构建本地执行的command命令，并启动该command对应的Process进程
  • 将Process的输出流输出到文件stdout/stderror,若是Process启动失败，进行1-5的秒的反复启动工做，直到启动成功，在释放Worker节点的DriverRunner的资源

 

3、 DriverRunner建立并运行DriverWrapper

     DriverWrapper的运行，流程以下：

     

• DriverWapper建立了一个RpcEndpoint与RpcEnv
• RpcEndpoint为WorkerWatcher，主要目的为监控Worker节点是否正常，若是出现异常就直接退出
• 而后当前的ClassLoader加载userJar，同时执行userMainClass
• 执行用户的main方法后关闭workerWatcher