spark中资源调度任务调度

在spark的资源调度中 1、集群启动worker向master汇报资源情况 2、Client向集群提交app,向master注册一个driver(需要多少core、memery),启动一个driver 3、Driver将当前app注册给master,(当前app需要多少资源),并请求启动对应的Executor 4、driver分发任务给Executor的Thread Pool。 根据Spark源
相关文章
相关标签/搜索