Spark DAG之SubmitJob

概要 介绍DAGScheduler使用EventLoop(LinkedBlockingDeque)异步处理Job的流程,程序由同步改成异步是优化并发,提高性能的常见手段,在spark中使用的很是多。html EventLoop 异步处理借助于EventLoop实现,EventLoop内部维护了LinkedBlockingDeque,LinkedBlockingDeque是基于链表实现的双端阻塞队列
相关文章
相关标签/搜索