spark streaming 流式计算---跨batch链接池共享（JVM共享链接池）

在流式计算过程当中，不免会链接第三方存储平台（redis,mysql...)。在操做过程当中，大部分状况是在foreachPartition/mapPartition算子中作链接操做。每个分区只须要链接一次第三方存储平台就能够了。假如，当前streaming有100分区，当前流式计算宫分配了20个cpu，有4个cpu负责接收数据。那么，在一个批次中一共须要对第三方平台建立100次链接，同时最大并行

>>阅读原文<<