Spark源码分析之Job触发原理
一 Job的执行流程 1.1 从数据源加载数据，数据源可以是本地数据文件和HDFS文件，也可以你是内存里的数据结构或者HBase等，创建初始的RDD 1.2 对RDD进行一系列的transformation操作，每一个transformation可能产生一个或者多个RDD 1.3 对最后的final RDD进行action操作，触发job操作，将最后每一个分区计算后得到结果 1.4 对每一个分区的
相关文章
- 1. Spark源码剖析（七）：Job触发流程原理与源码剖析
- 2. spark源码分析之worker原理篇
- 3. spark 源码分析（spark 触发Action 之后操作）
- 4. Spark源码之路（二）：Master原理剖析与源码分析
- 5. Spark源码解读之Shuffle原理剖析与源码分析
- 6. Spark的job触发流程原理与stage划分算法分析
- 7. Spark CacheManager原理与源码分析
- 8. Spark源码剖析（八）：stage划分原理与源码剖析
- 9. Spark架构原理-Cache原理剖析和源码分析
- 10. spark job server原理
- 更多相关文章...
- • SQLite 触发器（Trigger） - SQLite教程
- • Git 分支管理 - Git 教程
- • 互联网组织的未来：剖析GitHub员工的任性之源
- • ☆技术问答集锦（13）Java Instrument原理
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章