Spark中文指南(入门篇)-Spark编程模型(一)

前言

本章将对Spark作一个简单的介绍，更多教程请参考： Spark教程

本章知识点归纳

• Apache Spark简介
• Spark的四种运行模式
• Spark基于Standlone的运行流程
• Spark基于YARN的运行流程

Apache Spark是什么？

Spark是一个用来实现快速而通用的集群计算的平台。扩展了普遍使用的MapReduce计算模型，并且高效地支持更多的计算模式，包括交互式查询和流处理。在处理大规模数据集的时候，速度是很是重要的。Spark的一个重要特色就是可以在内存中计算，于是更快。即便在磁盘上进行的复杂计算，Spark依然比MapReduce更加高效。

Spark重要概念

（1）Spark运行模式

目前Spark的运行模式主要有如下几种:

• local:主要用于开发调试Spark应用程序
  
• Standlone:利用Spark自带的资源管理与调度器运行Spark集群，采用Master/Slave结构，为解决单点故障，能够采用Xookeeper实现高可靠(High Availability, HA)
  
• Apache Mesos:运行在著名的Mesos资源管理框架基础之上，该集群运行模式将资源管理管理交给Mesos,Spark只负责运行任务调度和计算
  

• Hadoop YARN:集群运行在Yarn资源管理器上，资源管理交给YARN，Spark只负责进行任务调度和计算
  Spark运行模式中Hadoop YARN的集群方式最为经常使用，前面一章关于Spark集群搭建就是采用的YARN模式。

  （2）Spark组件(Components)

  一个完整的Spark应用程序，如前面一章当中的SparkWorkdCount程序，在提交集群运行时，它涉及到以下图所示的组件：

每一个Spark应用都由一个驱动器程序(drive program)来发起集群上的各类并行操做。驱动器程序包含应用的main函数，驱动器负责建立SparkContext,SparkContext能够与不一样种类的集群资源管理器(Cluster Manager)，例如Hadoop YARN，Mesos进行通讯，获取到集群进行所需的资源后，SparkContext将
获得集群中工做节点(Worker Node)上对应的Executor(不一样的Spark程序有不一样的Executor,他们之间是相互独立的进程，Executor为应用程序提供分布式计算以及数据存储功能)，以后SparkContext将应用程序代码发送到各Executor,最后将任务(Task)分配给executors执行

• ClusterManager:在Standalone模式中即为Master节点（主节点），控制整个集群，监控Worker.在YARN中为ResourceManager
  
• Worker:从节点，负责控制计算节点，启动Executor或Driver。在YARN模式中为NodeManager,负责计算节点的控制。
  
• Driver:运行Application的main()函数并建立SparkContect。
  
• Executor:执行器，在worker node上执行任务的组件、用于启动线程池运行任务。每一个Application拥有独立的一组Executor。
  
• SparkContext:整个应用的上下文，控制应用的生命周期。
  
• RDD：Spark的计算单元，一组RDD可造成执行的有向无环图RDD Graph。
  
• DAG Scheduler:根据做业(Job)构建基于Stage的DAG，并提交Stage给TaskScheduler。
  
• TaskScheduler:将任务(Task)分发给Executor。
  
• SparkEnv:线程级别的上下文，存储运行时的重要组件的引用。
  SparkEnv内构建并包含以下一些重要组件的引用。
  
  一、MapOutPutTracker:负责Shuffle元信息的存储。
  二、BroadcastManager:负责广播变量的控制与元信息的存储。
  三、BlockManager:负责存储管理、建立和查找快。
  四、MetricsSystem:监控运行时性能指标信息。
  五、SparkConf:负责存储配置信息。

Spark的总体流程

一、Client提交应用。  
二、Master找到一个Worker启动Driver  
三、Driver向Master或者资源管理器申请资源，以后将应用转化为RDD Graph  
四、再由DAGSchedule将RDD Graph转化为Stage的有向无环图提交给TaskSchedule。  
五、再由TaskSchedule提交任务给Executor执行。  
六、其它组件协同工做，确保整个应用顺利执行。

图片：

Spark on Yarn流程：

一、基于YARN的Spark做业首先由客户端生成做业信息，提交给ResourceManager。  
二、ResourceManager在某一NodeManager汇报时把AppMaster分配给NodeManager。  
三、NodeManager启动SparkAppMaster。
四、SparkAppMastere启动后初始化而后向ResourceManager申请资源。  
五、申请到资源后，SparkAppMaster经过RPC让NodeManager启动相应的SparkExecutor。  
六、SparkExecutor向SparkAppMaster汇报并完成相应的任务。  
七、SparkClient会经过AppMaster获取做业运行状态。

参考文档

• [1]Spark官方文档
• [2]Spark修炼之道（进阶篇）——Spark入门到精通：第四节 Spark编程模型（一)

问题

• 针对SparkContext和Drive program尚未解释清楚
• 关于Driver向Master请求资源这一块还没搞懂
• 关于Spark的总体流程图仍是不太准确,之后找到好的再补上