spark编程中设置hadoop的属性

当使用spark进行编程时，若是使用yarn-client方式提交，能够经过如下方式设置hadoop的属性html val conf = new SparkConf() conf.set("spark.hadoop.yarn.resourcemanager.address", "test01:8050") 源码分析： 当spark任务提交时采用yarn模式，程序会启动YarnClientSched

>>阅读原文<<