spark工作原理和流程介绍

Spark相关名词解释: Driver 主进程,执行了一个Spark Application的main函数和创建Spark Contex的进程 在Yarn集群中: Yarn-Cluster Driver进程在集群的节点上 Yarn-Client Driver进程存在本地,方便调试,但是会有大量网络传输,不适合生成环境 SparkContext 负责和集群通讯,申请资源,监控集群任务状态 Parti
相关文章
相关标签/搜索