Spark调优：数据本地化（调优）

数据本地化的级别： PROCESS_LOCAL task要计算的数据在本进程（Executor）的内存中。 NODE_LOCAL task所计算的数据在本节点所在的磁盘上。 task所计算的数据在本节点其他Executor进程的内存中。 NO_PREF task所计算的数据在关系型数据库中，如mysql。 RACK_LOCAL task所计算的数据在同机架的不同节点的磁盘或者Executor进程的

>>阅读原文<<