Spark进阶

时间 2021-01-09

标签基础栏目 Spark 繁體版

原文原文链接

Spack进阶 1.RDD的依赖关系窄依赖(不产生shuffle) 父RDD和子RDD的patiition之间的关系是一对一,或者是多对一的关系宽依赖(会有shuffle产生(类似中间结果,会影响计算效率)) 父RDD和子RDD的patition之间的关系是多对一. 宽依赖与窄依赖示意图 2.stage 过程 spark会根据RDD之间的依赖关系,形成一个有向无环图(DAG),DAG会提交给D

>>阅读原文<<

1. Spark进阶3
2. spark core 进阶
3. Spark进阶（三）
4. Spark进阶（一）
5. Spark进阶（二）
6. Spark Core进阶
7. Spark（六）Spark编程进阶
8. [Spark进阶]-- Spark Dataframe操做
9. Spark菜鸟进阶
10. Spark进阶体验
更多相关文章...
• Scala 高阶函数 - Scala教程
• MySQL BIT、BINARY、VARBINARY、BLOB（二进制类型） - MySQL教程
• 为了进字节跳动，我精选了29道Java经典算法题，带详细讲解
• NewSQL-TiDB相关