spark集群模式概述

英文原文地址：https://spark.apache.org/docs/latest/cluster-overview.html

集群模式概述

本文档简单介绍了spark如何在集群中运行，它使得你更容易理解spark相关的组件。关于如何在一个集群中运行spark，请参考application submission guide 。

 

组件

 

spark应用以多个进程的形式运行于一个集群中，它使用你所定义的主程序（或者叫驱动程序）中的SparkContext这个对象来协调。当运行于集群时，SparkContext能够运行于多种的集群管理器中（包括spark自带的standalone集群，以及mesos和yarn），它们都被用于在不一样的应用间分配资源。当spark应用链接到了集群管理器后，（1）首先它将从集群中的节点获取执行器（executor），这些执行器就是用来运行计算或者存储数据的进程（2）而后，spark会将你的应用代码（jar包或者python文件）发送给执行器（3）最后，SparkContext将具体的任务(task)发送给执行器运行。

 

关于上面的架构，有几占须要注意的：

一、每个应用都拥有它本身独立的执行器进程（executor processes），这些进程在应用的整个生命周期中保持运行，且通常会同时运行多个线程。这有利于不一样应用的分离，但同时，它也意味着数据不能在不一样的spark应用（或者说不一样的SparkContext）中共享，除非你先将数据输出到外部存储中。

二、spark独立于底层的cluster manager，只要保证它可以获取到executor processes,而且这些进程之间能互相通讯。这就很容易将应用运行于不一样的cluster manager，如mesos/yarn等，甚至这些cluster manager还能运行其它类型的应用。

三、驱动程序必须在整个生命周期中监听并接受执行器的链接 (e.g., see spark.driver.port and spark.fileserver.port in the network config section)。所以驱动程序对于工做节点来讲，必须能够经过网络访问的。

集群管理器的类型

目前spark支持如下几种集群管理器:

• Standalone – spark自带的集群管理器，能够很方便的用于建立集群。
• Apache Mesos – 一个经过的资源管理器，它可用于运行MR与一些其它应用。
• Hadoop YARN – hadoop2.x引入的资源管理器。

此外，spark的EC2 launch scripts 使得你能够很方便的在亚马逊EC2上运行独立集群。

提交应用

能够经过spark-submit向任意类型的集群提交应用。 application submission guide 详细介绍了如何向spark集群提交应用。

 

监控

每个驱动程序都有一个web UI（通常在4040端口），它展现了应用的信息，包括运行的任务，执行器以及存储的使用状况等。在一个浏览器中打开 http://<driver-node>:4040 就可访问到这个UI，monitoring guide详细介绍了其它监控项。

 

 

做业调度

spark在不一样应用间已经应用内部提供资源分配的控制， job scheduling overview详细介绍了这些内容。

术语

下面总结了你在使用spark中须要用到的术语:

Term	Meaning
Application	用户建立的spark应用，它由一个驱动程序和多个执行器组成。
Application jar	jar包包括了用户的spark应用，有时候，用户会建立一个超级包，它包括了这个包的全部依赖，可是无论如何，用户Jar包不该该包括hadoop和spark的library，它们会在运行时自动加载。
Driver program	运行应用main函数的进程，同时它也用于建立SparkContext。
Cluster manager	一个用于获取集群资源的外部服务，如 ( standalone manager, Mesos, YARN)
Deploy mode	用于区分在哪里运行驱动程序，在cluster模式中，会在集群内运行驱动程序，而在client模式中，在集群外运行驱动程序。
Worker node	集群中能够运行应用代码的节点
Executor	某个应用运行于worker node的进程，它运行多个任务(task)，而且在内存或者磁盘中保存数据。每个应用都有本身的一个或者多个executors
Task	在executor中运行的工做单元
Job	由多个task组成的并行计算，你会在driver的log中看到这个词
Stage	每个job会被切分为一个更小的任务集合，这些任务集群被称为stage，它们之间互相依赖（如MR中的map和reduce),你会在driver的log中看到这个词