Spark 系列（十三）—— Spark Streaming 与流处理

1、流处理

1.1 静态数据处理

在流处理以前，数据一般存储在数据库，文件系统或其余形式的存储系统中。应用程序根据须要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。

1.2 流处理

而流处理则是直接对运动中的数据的处理，在接收数据时直接计算数据。

大多数数据都是连续的流：传感器事件，网站上的用户活动，金融交易等等 ，全部这些数据都是随着时间的推移而建立的。

接收和发送数据流并执行应用程序或分析逻辑的系统称为流处理器。流处理器的基本职责是确保数据有效流动，同时具有可扩展性和容错能力，Storm 和 Flink 就是其表明性的实现。

流处理带来了静态数据处理所不具有的众多优势：

• 应用程序当即对数据作出反应：下降了数据的滞后性，使得数据更具备时效性，更能反映对将来的预期；
• 流处理能够处理更大的数据量：直接处理数据流，而且只保留数据中有意义的子集，并将其传送到下一个处理单元，逐级过滤数据，下降须要处理的数据量，从而可以承受更大的数据量；
• 流处理更贴近现实的数据模型：在实际的环境中，一切数据都是持续变化的，要想可以经过过去的数据推断将来的趋势，必须保证数据的不断输入和模型的不断修正，典型的就是金融市场、股票市场，流处理能更好的应对这些数据的连续性的特征和及时性的需求；
• 流处理分散和分离基础设施：流式处理减小了对大型数据库的需求。相反，每一个流处理程序经过流处理框架维护了本身的数据和状态，这使得流处理程序更适合微服务架构。

2、Spark Streaming

2.1 简介

Spark Streaming 是 Spark 的一个子模块，用于快速构建可扩展，高吞吐量，高容错的流处理程序。具备如下特色：

• 经过高级 API 构建应用程序，简单易用；
• 支持多种语言，如 Java，Scala 和 Python；
• 良好的容错性，Spark Streaming 支持快速从失败中恢复丢失的操做状态；
• 可以和 Spark 其余模块无缝集成，将流处理与批处理完美结合；
• Spark Streaming 能够从 HDFS，Flume，Kafka，Twitter 和 ZeroMQ 读取数据，也支持自定义数据源。

2.2 DStream

Spark Streaming 提供称为离散流 (DStream) 的高级抽象，用于表示连续的数据流。 DStream 能够历来自 Kafka，Flume 和 Kinesis 等数据源的输入数据流建立，也能够由其余 DStream 转化而来。在内部，DStream 表示为一系列 RDD。

2.3 Spark & Storm & Flink

storm 和 Flink 都是真正意义上的流计算框架，但 Spark Streaming 只是将数据流进行极小粒度的拆分，拆分为多个批处理，使得其可以获得接近于流处理的效果，但其本质上仍是批处理（或微批处理）。

参考资料

1. Spark Streaming Programming Guide
2. What is stream processing?

更多大数据系列文章能够参见 GitHub 开源项目： 大数据入门指南