【Spark的那些事儿】DAG让计算更简单

​看过了Spark的核心RDD和RDD算子以后,感觉Spark是不是很神奇,竟然可以减少计算次数,优化计算。对于窄依赖是这样的,但是宽依赖怎么办?还是要等待宽依赖的结果才能继续计算。Spark引入了DAG来记录宽依赖的计算过程,这样在遇到宽依赖的时候,我们就可以一边记录当前的计算过程一边计算Stage中的窄依赖了。下面我们就来看看DAG是什么。   一、什么是DAG? 二、spark框架中DAG是
相关文章
相关标签/搜索