图解Spark的任务调度机制

文章目录 1. 相关概念 2. 任务调度 2.1 Stage级别任务调度: 2.2 Task级别的调度 2.2.1 Task的调度策略: 2.2.1.1 FIFO调度策略: 2.2.1.2 Fair调度策略: 2.2.2 本地化调度 2.2.3 失败重试和黑名单 由于在实际开发中都是使用yarn-cluster模式,所以本文也以该模式为分析的前提。 1. 相关概念 首先明确几个在任务调度方面的常用
相关文章
相关标签/搜索