spark调优和JVM运行流程

算子继续： MapPartitions:每次处理一个分区数据，经常使用，常常代替map进行使用，用于调优。调优的做用是减小task的个数。 Map每次只处理一条数据，频繁与Mysql进行交互，很是浪费。 FlatMapFunctionIterator（一批数据） 至关于MySQL中一次插入多条数据,有几个文件块就有几个分区（不大懂），若是分区不合理，有内存溢出的可能性，若是内存溢出，就须要重分区

>>阅读原文<<