Spark Streaming时间间隔性能测试

SparkStreaming能支持的最短期间隔取决于数据源产生的速度，及对RDD的操做。本文针对同一数据源（日志由spark实时收集），测试RDD几种操做对应的合适的时间间隔。时间间隔time以以下形式做用于spark streaming： new StreamingContext(sparkConf, Milliseconds(time.toLong)) 测试数据源： log data with

>>阅读原文<<