Spark的动态资源分配

跑spark程序的时候，公司服务器需要排队等资源，参考一些设置，之前不知道，跑的很慢，懂得设置之后简直直接起飞。 简单粗暴上设置代码： 1 def conf(self): 2 conf = super(TbtestStatisBase, self).conf 3 conf.update({ 4 'spark.shuffle.service.ena

>>阅读原文<<