Spark学习（2）——设计机器学习系统

补充内容： Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系 输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。默认情况下，一个block最大为128M。 当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将

>>阅读原文<<