Spark分区

https://www.iteblog.com/archives/1695.html Spark分区原理分析 介绍 分区是指如何把RDD分布在spark集群的各个节点的操作。以及一个RDD能够分多少个分区。 一个分区是大型分布式数据集的逻辑块。 那么思考一下：分区数如何映射到spark的任务数？如何验证？分区和任务如何对应到本地的数据? Spark使用分区来管理数据，这些分区有助于并行化分布式数据

>>阅读原文<<