Spark学习(五)---RDD原理解析和spark运行架构

这次我们介绍RDD的原理和spark运行机制 RDD依赖关系 RDD缓存 RDD容错机制 spark运行架构 spark任务调度 1. RDD原理 首先我们对之前的单词统计的代码做一个画图展示 1.1 RDD依赖关系 RDD和它依赖的父RDD的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。 窄依赖 窄依赖指的是每一个父RDD的Par
相关文章
相关标签/搜索