Spark2.2任务提交运行机制及源码解析

源码版本:2.2 参考《Spark内核机制解析及性能调优》 若有错误请指正 1、Spark运行的核心概念 Spark调度器的设计体现得很是简洁清晰和高效,其输入是Spark RDD,输出是Spark执行器(Executor)。正是Spark调度器的设计思想极大地区分出了基于MapReduce模型的Hadoop和基于DAG模型的Spark。 主要内容包括Spark运行核心概念,Spark Drive
相关文章
相关标签/搜索