spark连接mysql数据库

若是不进行foreachPartition，该操做的并发度为1，你全部的数据都会在一个partition中进行操做，意味着不管你给的资源有多少，只有一个task会执行任务，执行效率可想而之，而且在稍微大点的表中进行操做分分钟就会OOM。html 因此须要foreachPartition，这样的话就会有多个task，每一个task一个线程的去处理该任务。java   package com.tv.s

>>阅读原文<<