【Spark的那些事儿】DAG让计算更简单

​看过了Spark的核心RDD和RDD算子之后,感受Spark是否是很神奇,居然能够减小计算次数,优化计算。对于窄依赖是这样的,可是宽依赖怎么办?仍是要等待宽依赖的结果才能继续计算。Spark引入了DAG来记录宽依赖的计算过程,这样在遇到宽依赖的时候,咱们就能够一边记录当前的计算过程一边计算Stage中的窄依赖了。下面咱们就来看看DAG是什么。   1、什么是DAG?java 2、spark框架中
相关文章
相关标签/搜索