Spark（一）Spark简介

1、官网介绍

1 什么是Spark

官网地址：http://spark.apache.org/

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具备的优势；但不一样于MapReduce的是Job中间输出结果能够保存在内存中，从而再也不须要读写HDFS，所以Spark能更好地适用于数据挖掘与机器学习等须要迭代的MapReduce的算法。

问题
工具只在解决了一些问题时才有用，对吧！那么让咱们来讨论一下 Spark 能解决的问题。

咱们须要（快速获取）答案
在批处理过程当中，长时间等待运行做业的结果是意料中的事，在现在的企业中，须要快速（“近实时”）获取答案。大数据的属性（速度、数据量和种类）使得业务问题愈来愈难得到答案，但快速获取这些答案很是重要。

数据如此之多
数据源数不胜数且仍在增长。从 IoT 设备、实时交易、单击流、应用到社交媒体等，数据源在不断增长。全部数据都须要通过必定的处理，这样分析师才能理解并从中获取业务价值。如今您须要能处理全部这些数据，以便将它们转化为某种能使用的信息。可以以愈来愈快的速度处理从愈来愈多来源传入的海量数据，这一点很重要！

A 与 B（以及 C、D 等等）有何关联？
您拥有全部这些有用的数据，从客户交易、社交媒体交互到地理空间数据等等。如今您须要了解全部这些维度如何相互关联。重要的是能看到对这个数据图的全面分析结果，从而肯定哪些数据维相当重要，哪些毫无价值。

咱们须要知道（什么时候）将会发生什么
您拥有全部这些宝贵的历史数据。太棒了！如今您须要分析它们，了解发生了什么和发生的缘由，以便能预测接下来会发生什么。重要的是可以分析全部这些数据，以便预测将会发生的业务事件。

Apache Spark 不是什么
咱们经常（且很容易）合并解决一组相似问题的两种或更多相关技术，并且在不能互换使用它们时互换使用了它们。为了不在 Spark 上犯这种错误，让咱们讨论一下它不是什么。

Hadoop
Hadoop 是一种大数据文件存储和数据处理框架，它使用一种称为 MapReduce 的技术从一个庞大的磁盘集群读取数据，转换数据，并将数据写回磁盘。另外一方面，Spark 使用有向非循环图 (DAG) 经过一系列步骤处理内存中的数据，这些步骤之间相互依赖（Gradle 也使用了一种 DAG），并且不会像 Hadoop（经过 Hadoop 分布式文件系统，HDFS）那样处理文件存储自己。

MapReduce
人们很容易将 Spark Core 与 MapReduce 混淆，由于它们在大数据领域都很重要。MapReduce 基原本讲是一种单通算法：读入数据，MapReduce 转换它，而后将数据写回到磁盘。若是须要另外一次转换，则会重复这些步骤。另外一方面，Spark 在内存中执行全部处理工做（若有必要，还会执行屡次迭代），并使用 DAG 肯定要执行步骤的最佳顺序。

与 Hadoop 相互排斥
Spark 被设计为与 Hadoop 兼容，因此 Hadoop 和 Spark 能够紧密协做。事实上，Spark 下载包含用于使用 HDFS（用于存储管理）和 YARN（用于资源管理和调度）的 Hadoop 客户端库。

解决方案
在一开始的时候，我就介绍了 Spark 能解决的一些问题。如今我将展现 Spark 如何解决这些问题。

咱们须要（快速获取）答案
近实时的分析在一段时间内须要高性能。Spark 处理来自内存的数据，因此处理速度很快。Spark 的核心库支持轻松地编写优化的代码来得到最快的结果。最多比 MapReduce 快 100 倍！

数据如此之多
或许使用 Spark 的最大好处是它能处理实时流数据。来自交易场所、社交媒体单击流和 IoT 设备的数据必须在传输到磁盘以前快速转换。使用 Hadoop HDFS 时，须要将数据写入磁盘，而后读回进行 Map/Reduce 转换处理，接着再写回磁盘，而后才能交到分析师手中。
Spark Streaming 容许在内存中处理传入的数据，而后写入磁盘供之后扩充（若有必要）和进一步分析。

A 与 B（以及 C、D 等等）有何关联？
来自多个来源的数据（好比交易数据、社交媒体数据、单击流等）拥有隐藏的关联，梳理这些关联有助于发现数据中的新看法和洞察 - 它们从表面上看彷佛处于彻底不一样的维度，但实际上却紧密关联。但要以有意义的方式实现此目的，须要灵活地转换数据（速度快没有坏处，对吧？），以便找到正确的方向。
Spark GraphX 结合了两者的优点：多个算法的灵活性，以及以各类不一样方式转换和合并数据的速度。

咱们须要知道（什么时候）将会发生什么
在预测将来时，拥有一批历史数据是一笔很是宝贵的资产。但预测分析须要严谨的软件（固然还有硬件）。
Spark 的 MLib 具备很高的性能（惊讶吧？）机器学习 (ML) 库采用了大量通过实践检验的算法（好比分类、回归和聚类）、特制技术（好比转换和降维）和实用工具（好比线性代数和统计学）。

2 Spark与MapReduce的区别

都是分布式计算框架，Spark基于内存，MR基于HDFS。Spark处理数据的能力通常是MR的十倍以上，Spark中除了基于内存计算外，还有DAG有向无环图来切分任务的执行前后顺序。

2、Spark的四大特性

一、高效性

官网介绍Spark运行速度提升100倍。Apache Spark使用最早进的DAG调度程序，查询优化程序和物理执行引擎，实现批量和流式数据的高性能。

二、易用性

Spark支持Java、Scala，Python和R的API，还支持超过80种高级算法，使用户能够快速构建不一样的应用。并且Spark支持交互式的Python和Scala的shell，能够很是方便地在这些shell中使用Spark集群来验证解决问题的方法。

三、通用性

Spark提供了统一的解决方案。Spark能够用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。这些不一样类型的处理均可以在同一个应用中无缝使用。Spark统一的解决方案很是具备吸引力，毕竟任何公司都想用统一的平台去处理遇到的问题，减小开发和维护的人力成本和部署平台的物力成本。

四、兼容性

Spark能够很是方便地与其余的开源产品进行融合。好比，Spark可使用Hadoop的YARN和Apache Mesos做为它的资源管理和调度器，而且能够处理全部Hadoop支持的数据，包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要，由于不须要作任何数据迁移就可使用Spark的强大处理能力。Spark也能够不依赖于第三方的资源管理和调度器，它实现了Standalone做为其内置的资源管理和调度框架，这样进一步下降了Spark的使用门槛，使得全部人均可以很是容易地部署和使用Spark。此外，Spark还提供了在EC2上部署Standalone的Spark集群的工具。

 

3、Spark的技术栈

SparkCore：将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。

SparkSQL：Spark Sql 是Spark来操做结构化数据的模块，可使用SQL语句的方式来查询数据，Spark支持多种数据源，如HDFS，FLume，Kafka等。

SparkStreaming： 是Spark提供的实时数据进行流式计算的组件。

MLlib：提供经常使用机器学习算法的实现库。

GraphX：提供一个分布式图计算框架，能高效进行图计算。

BlinkDB：用于在海量数据上进行交互式SQL的近似查询引擎。

Tachyon：之内存为中心高容错的的分布式文件系统。

 

4、Spark的运行模式

运行环境	模式	描述
Local	本地模式	经常使用于本地开发测试，如在eclipse，idea中写程序测试等。本地还分为local单线程和local-cluster多线程
Standalone	集群模式	Spark自带的一个资源调度框架，支持彻底分布式。存在的Master单点故障可由ZooKeeper来实现HA
Yarn	集群模式	运行在yarn资源管理器框架之上，由yarn负责资源管理，Spark负责任务调度和计算
Mesos	集群模式	运行在mesos资源管理器框架之上，由mesos负责资源管理，Spark负责任务调度和计算
Kubernetes	集群模式	运行在Kubernetes资源管理的集群上，目前Kubernetes调度程序是实验性的

 

5、Spark的经常使用术语

术语	描述
Application	Spark的应用程序，包含一个Driver program和若干Executor
SparkContext	Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node上的Executor
Driver Program	运行Application的main()函数而且建立SparkContext
Executor	是为Application运行在Worker node上的一个进程，该进程负责运行Task，而且负责将数据存在内存或者磁盘上。 每一个Application都会申请各自的Executor来处理任务
ClusterManager	在集群上获取资源的外部服务(例如：Standalone、Mesos、Yarn)
Worker Node	集群中任何能够运行Application代码的节点，运行一个或多个Executor进程
Task	运行在Executor上的工做单元
Job	SparkContext提交的具体Action操做，常和Action对应
Stage	每一个Job会被拆分不少组task，每组任务被称为Stage，也称TaskSet
RDD	是Resilient distributed datasets的简称，中文为弹性分布式数据集;是Spark最核心的模块和类
DAGScheduler	根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler
TaskScheduler	将Taskset提交给Worker node集群运行并返回结果
Transformations	是Spark API的一种类型，Transformation返回值仍是一个RDD， 全部的Transformation采用的都是懒策略， 若是只是将Transformation提交是不会执行计算的
Action	是Spark API的一种类型，Action返回值不是一个RDD，而是一个scala集合；计算只有在Action被提交的时候计算才 被触发。