spark 算子调优之使用foreachPartition优化写数据库的性能

使用默认的foreache的性能缺陷是哪里？mysql 首先，对于每条数据，都要单独去调用一次function,task为每一个数据，都要去执行一次function函数。sql   若是100万条数据（一个partition）,调用100万次，性能比较差数据库   另一个很是很是重要的一点函数   若是每一个数据，你都要去建立一个数据库链接，那么你就得创建100万次数据库链接，可是要注意的是，数据

>>阅读原文<<