Spark内部如何保证每一个application中只存在一个SparkContext？

Spark有个关因而否容许一个application存在多个SparkContext实例的配置项, 以下:

spark.driver.allowMultipleContexts: If true, log warnings instead of throwing exceptions when multiple SparkContexts are active.

该值默认为false, 即不容许一个application同时存在一个以上的active SparkContext实例. 如何保证这一点呢?

在SparkContext构造函数最开始处获取是否容许存在多个SparkContext实例的标识allowMultipleContexts, 咱们这里只讨论否的状况 ( 默认也是否, 即allowMultipleContexts为false )

class SparkContext(config: SparkConf) extends Logging with ExecutorAllocationClient {

  //< 若是为true,有多个SparkContext处于active状态时记录warning日志而不是抛出异常.
  private val allowMultipleContexts: Boolean =
    config.getBoolean("spark.driver.allowMultipleContexts", false)
    
    //< 此处省略n行代码
}
  //< 注意: 这必须放在SparkContext构造器的最开始
  SparkContext.markPartiallyConstructed(this, allowMultipleContexts)
  
  private[spark] def markPartiallyConstructed(
      sc: SparkContext,
      allowMultipleContexts: Boolean): Unit = {
    SPARK_CONTEXT_CONSTRUCTOR_LOCK.synchronized {
      assertNoOtherContextIsRunning(sc, allowMultipleContexts)
      contextBeingConstructed = Some(sc)
    }
  }
  //< 伴生对象SparkContext包含一组实用的转换和参数来和各类Spark特性一块儿使用
object SparkContext extends Logging {
  private val SPARK_CONTEXT_CONSTRUCTOR_LOCK = new Object()
  
  //< 此处省略n行代码
}

 

结合以上三段代码, 能够看出保证一个Spark Application只有一个SparkContext实例的步骤以下:

1. 经过SparkContext伴生对象object SparkContext中维护了一个对象 SPARK_CONTEXT_CONSTRUCTOR_LOCK, 单例SparkContext在一个进程中是惟一的, 因此SPARK_CONTEXT_CONSTRUCTOR_LOCK在一个进程中也是惟一的

2. 函数markPartiallyConstructed中经过synchronized方法保证同一时间只有一个线程能处理

      assertNoOtherContextIsRunning(sc, allowMultipleContexts)
      contextBeingConstructed = Some(sc)

   assertNoOtherContextIsRunning会检测是否有其余SparkContext对象正在被构造或已经构造完成, 若allowMultipleContexts为true且确有正在或者已经完成构造的SparkContext对象, 则抛出异常, 不然完成SparkContext对象构造

看到这里, 有人可能会有疑问, 这虽然能保证在一个进程内只有惟一的SparkContext对象, 但Spark是分布式的, 是否是没法保证在在其余节点的进程内会构造SparkContext对象. 其实并不存在这样的问题, 由于SparkContext只会在Driver中得main函数中声明并初始化, 也就是说只会在Driver所在节点的一个进程内构造.