Spark工作机制

内部运行机制 任务分配、IO模块、通信控制模块、容错模块、Shuffle模块。采用的算法：FIFO、FIAR算法，通信采用AKKA框架 1、spark执行机制： spark应用提交后经历了一系列转换最后成为Task在每个节点上执行。 大体的执行流程：RDD的Actions操作除非Job的提交，提交到spark中的job生成RDD DAG，由DAG Scheduler转换为stage中的task集合

>>阅读原文<<