【spark2】【源码学习】【分区数】spark读取 本地/可分割/多个 的文件时是如何划分分区

spark的textFile API 支持读取单个文件，也支持读取文件夹路径并将文件夹路径下的文件都读取进内存处理，前面已经写了一篇关于 【本地/可分割/单个】 文件的分区处理，今天来看下 【本地/可分割/多个】 文件是怎么处理的。 一、简要概述 1、goalSize从单个文件totalSize/minPartitions变成多个文件totalSize/minPartitions， 2、然后依旧是

>>阅读原文<<