spark基础知识四

围绕spark的其他特性和应用。主要包括以下几个方面 spark自定义分区 spark中的共享变量 spark程序的序列化问题 spark中的application/job/stage/task之间的关系 spark on yarn原理和机制 spark的资源分配方式 1. spark自定义分区 1.1 自定义分区说明 在对RDD数据进行分区时,默认使用的是HashPartitioner 该函数对
相关文章
相关标签/搜索