Spark Streaming源码解读之Job详解

一：Spark Streaming Job生成深度思考 1. 作大数据例如Hadoop,Spark等，若是不是流处理的话，通常会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是作流处理的感受，一切不是流处理，或者与流处理无关的数据都将是没有价值的数据，之前作批处理的时候其实也是隐形的在作流处理。 2. JobGenerator构造的时候有一个核心的参数是jobScheduler, job

>>阅读原文<<