Spark：在Spark集群中，集群的节点个数、RDD分区个数、cpu内核个数三者与并行度的关系？？

梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。并发 输入可能以多个文件的形式存储在HDFS上，每一个File都包含了不少块，称为Block。 当Spark读取这些文件做为输入时，会根据具体数据格式对应的InputFormat进行解析，通常是将若干个Block合并成一个输入分片，称

>>阅读原文<<