Spark 基础及RDD基本操做

什么是RDDweb RDD(Resilient Distributed Dataset)叫作分布式数据集,是Spark中最基本的数据抽象,它表明一个不可变、可分区、里面的元素可并行计算的集合。RDD具备数据流模型的特色:自动容错、位置感知性调度和可伸缩性。RDD容许用户在执行多个查询时显式地将工做集缓存在内存中,后续的查询可以重用工做集,这极大地提高了查询速度。 RDD的属性缓存 一组分片(Par
相关文章
相关标签/搜索