基于Spark案例,对Spark内核源码在Standalone提交模式的深度剖析 (乾坤大挪移第一层)

自己最近把spark的知识整理了一下,想要比较清晰的解释下他的初步内核源码机制。以方便自己后期查阅。文章中涉及的 1、stage划分算法 2、master资源调度算法 3、task算法(数据优化,数据本地化) 后期我会基于spark2.0版本的源码进行一次剖析,此次只是初步的,如有未尽事宜。请大家多多批评指正,我愿意接受一切意见,只要不是侮辱。啊啊哈。 序言: 基于下面这段初始代码谈执行过程。 d
相关文章
相关标签/搜索