SparkRDD从6大方面详解

转自:https://blog.csdn.net/erfucun/article/details/51972225 一:RDD粗粒度与细粒度 粗粒度: 在程序启动前就已经分配好资源(特别适用于资源特别多而且要进行资源复用)  细粒度:计算需要资源是才分配资源,细粒度没有资源浪费问题。 二: RDD 的解密:  1,分布式(擅长迭代式是spark的精髓之所在) 基于内存(有些时候也会基于硬盘) 特别
相关文章
相关标签/搜索