spark执行过程分析

spark任务执行记录sql 背景：利用pyspark join表，随后写入hive；代码中包含三个写入操做hiveContext.sql(sql_join).write.saveAsTable("stage_data.users_basic_tmp")。spa 查看任务被分为三个job image.png 第1个任务比较简单，只有一个stage即完成了。 image.png 第二个任务比较大，共

>>阅读原文<<