spark中job、stage、task、partition、executor概念理解以及分区数深刻探究

概念 1. job定义：        咱们都知道，在spark rdd中，有action、transform操做，当真正触发action时，才真正执行计算，此时产生一个job任务。html 2. stage定义：        以shuffle为界，当在一个job任务中涉及shuffle操做时，会进行stage划分，产生一个或多个stage。java 3. task定义：       一个sta

>>阅读原文<<