Spark Scan大表时任务启动过慢分析

问题背景 测试SQL select asset_inout_ex['asset_inout_1c_sum_1'],dt from ASSET_INOUT_AMT a where dt<20181119 and cust_code=0000000 order by dt limit 10000; 由于原始表中有456 个DT分区，因此DAG中是一个包含456个 HadoopRDD 的 UnionR

>>阅读原文<<