Spark中Task,Partition,RDD、节点数、Executor数、core数目的关系和Application,Driver,Job,Task,Stage理解

有部分图和语句摘抄别的博客,有些理解是本身的 并发 梳理一下Spark中关于并发度涉及的几个概念File,Block,Split,Task,Partition,RDD以及节点数、Executor数、core数目的关系。app   输入可能以多个文件的形式存储在HDFS上,每一个File都包含了不少块,称为Block。 当Spark读取这些文件做为输入时,会根据具体数据格式对应的InputForma
相关文章
相关标签/搜索