Executor动态分配实现原理

文章目录 简介 ExecutorAllocationManager创建和启动 相关配置参数 简介 ExecutorAllocationManager在SparkContext中创建,基于工作负载通过后台定时线程来动态分配、移除Executor资源及取消多余的executor申请。ExecutorAllocationManager保存一个动态目标数量的executor信息,并定时周期同步给clust
相关文章
相关标签/搜索