Spark 性能调优之 foreachPartition 优化写数据库性能

foreach 操作写数据库 缺点 首先，对于每条数据，都要单独去调用一次function，task为每个数据，都要去执行一次function函数。 如果100万条数据，（一个partition），调用100万次。性能比较差。 另外一个非常非常重要的一点 如果每个数据，你都去创建一个数据库连接的话，那么你就得创建100万次数据库连接。 但是要注意的是，数据库连接的创建和销毁，都是非常非常消耗性能的

>>阅读原文<<