Spark任务处理流程

最近学习了spark,现根据任务提交分析处理过程总结一下相关的主要模块和任务提交处理流程。html 一些重要术语 client,用户编写的spark任务提交程序 master,spark主节点,负责任务和资源调度、节点管理,相似于Yarn的ResourceManager worker,spark工做节点,能够在上面启动Executor进程,相似于Yarn的NodeManager driver,wo
相关文章
相关标签/搜索