Streaming-大数据的将来

分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming 101: The world beyond batch

那么流计算如何超越批处理呢？

从这几个方面说明：实时流计算系统，数据处理模式，还有大数据的将来。

1、实时流式计算系统

实时流式计算的意义：

一、企业渴望得到更及时的数据，实时计算系统延迟更低。

二、数据量愈来愈大，而实时计算系统理论上是处理无界数据的。

三、在数据到达时处理数据，能够更好的分担负载，对于资源的消耗更容易预测。

什么是Streaming？

有不少的定义，好比无界数据处理，近实时结果等，并不能说明Streaming的真正含义。Streaming应该是包含 无界数据 近实时 一致性 可重复结果 等等特征的。 因此这里给出Streaming的定义是：a type of data processing engine that is designed with infinite data sets in mind 一种考虑了无线数据集的数据处理引擎。

（这个定义包含了如今流行的真正的流式和微批）

Streaming常见的用法：

一、无限数据：一种不断增加的，基本上无限的数据集。这些一般被称为“流式数据”。无限的流式数据集能够称为无界数据，相对而言有限的批量数据就是有界数据。

二、无界数据处理：一种持续的数据处理模式，应用于上面的无界数据。批量处理数据（离线计算）也能够重复运行来处理数据，可是会有性能的瓶颈。

三、低延迟，近实时的结果：相对于离线计算而言，离线计算并无考虑延迟的问题。

Streaming的局限性：

Streaming长期以来一直和离线系统同时存在，也就是Lambda架构。

二者都执行基本相同的计算，Streaming系统为您提供低延迟，不许确的结果，而且一段时间后批处理系统为您提供正确的输出。（由Twitter的Nathan Marz（Storm的创造者）提出），这样咱们就须要维护两个版本数据，最后再合并结果。

因此Kappa架构这种基于Kafka的可重复获取消息的架构出现了，Streaming应该是超越批量计算，而且能包含批量计算。Flink正是接受了这个观点。

那么怎么作到这样呢？只须要两件事：

一、正确性：有了这个，就和批量计算等价了。

Streaming须要能随着时间的推移依然能计算必定时间窗口的数据。Spark Streaming经过微批的思想解决了这个问题，实时与离线系统进行了一致性的存储，这一点在将来的实时计算系统中都应该知足。

二、推理时间的工具：这可让咱们超越批量计算。

好的时间推理工具对于处理不一样事件的无界无序数据相当重要。

这里有两种时间：事件时间和处理时间。

事件时间：事件实际发生的时间。

处理时间：系统中处理事件的时间。

固然，并非全部的业务都会关心时间的问题。理想中事件时间和处理时间老是相等的，事件在发生时当即处理。然而，现实并不是如此，事件时间和处理时间之间的误差不只不是零，并且受硬件（特别是网络），软件，数据自己影响，会有很大的误差。

图一 时域映射 x轴为事件时间 y轴为处理时间 斜率为1的黑色虚线表示理想值，其中处理时间和事件时间彻底相等; 红线表明现实。理想线和红线之间的水平距离是处理时间和事件时间之间的误差。这种误差本质上是处理流水线引入的延迟。

这个映射不是静态的，因此只关心事件时间，就很难在时间窗口分析数据，而若是将事件时间窗口化，完整性会出问题。

因此必须用新的方案解决这个问题，咱们先来看一下现有的数据处理模式。

2、数据处理模式

这里咱们将流式与微批处理放在一块儿，他们的差别在这里并不重要。

一、有界数据

图二，左侧的数据集充满了熵，咱们经过mapreduce等批处理引擎，在右端使用具备更大内在价值的新结构化数据集。

固然，做为该方案的一部分，您能够实际计算的内容存在无限变化，但总体模型很是简单。

二、无限数据-批量

批处理引擎虽然没有明确考虑到无限数据，可是自从批量系统出现以来，它已被用于处理无界数据集。主要是将无界数据切割成适合批处理的有界数据集的集合。

固定窗口：

图三 使用批处理引擎重复运行来处理无界数据集的最经常使用方法是将输入数据窗口化为固定大小的窗口，而后将每一个窗口做为单独的有界数据源处理。

会话：

图四 增长批量，更复杂了

三、无限数据-Streaming

这种数据多是 时间无序的 事件处理时间有误差

在处理这种数据时有几种状况：

不关心时间，近似算法，处理时间窗口化，事件时间窗口化。

不关心时间

这种是彻底不关心时间的状况，咱们只须要完成对数据的处理就能够，有如下几种状况：

过滤

好比web流量日志，过滤掉某一个域名的流量。丢弃不须要的就能够了。

图五 过滤无界数据

内链接

还有就是链接两个无界数据源的时候，没有时间逻辑。

图六 无界数据内链接

近似算法

比图top-N K-means等算法，值得注意的是：这些算法在设计中一般会有一些时间元素，而且因为它们在到达时处理

，所以该时间元素一般基于处理时间。这可能会影响计算的偏差，若是这些偏差范围是以按顺序到达的数据为基础的

，那么这种数据并不可信。

图七 无界数据近似值

处理时间窗口化

先介绍一下窗口，有三种窗口模式

图八 三种窗口

固定窗口：固定窗口将时间切割成具备固定大小时间长度的段。

滑动窗口：固定窗口的升级，滑动窗口由固定长度和固定周期定义。周期小于长度，则窗口重叠。若是周期等于长度，有固 定的窗口。若是周期大于长度，则会有一个的采样窗口，它只会随着时间的推移查看数据的子集。

会话：动态的窗口，会话由一系列事件组成，这些事件会超时而终止。会话一般用于经过将一系列与时间相关的事件组合在一块儿来分析用户随时间的行为。长度并不固定。

下面先来讨论处理时间窗口化：

当按处理时间窗口化时，系统基本上将输入数据缓冲到一个窗口中，直到通过必定量的处理时间后再作处理。例如，在五分钟固定窗口的状况下，系统会将数据缓冲五分钟的处理时间，以后它会将这五分钟内观察到的全部数据视为一个窗口并将它们发送到下游进行处理。

图九 处理时间窗口

处理时间窗口的优势：

简单：不用担忧去改变数据。

窗口完整性：因为系统彻底了解是否已经看到窗口的全部输入，所以能够完美的判断窗口完整。

处理时推断源的信息：好比监控系统。

可是处理时间窗口有一个很是大的缺点：若是数据有和他们关联的事件时间，弱国处理时间窗口要反映实际上这些事件的实际状况，那么这些数据必须顺序到达，但事实上大部分并不有序。

因此咱们须要的是一种对时间到达顺序更稳的方式，也就是事件时间窗口。

事件时间窗口化

将无界数据化为固定窗口。

图10 将事件时间固定到固定窗口

图中的实线白线表示两个特别感兴趣的数据。这两个数据都到达处理时间窗口，这些时间窗口与它们所属的事件时间窗口不匹配。所以，若是这些数据已被窗口化为处理关注事件时间的处理时间窗口，则计算结果将是不正确的。因此事件时间窗口才是正确性的体现。

图11 也能够建立动态的窗口

事件时间窗口有两个明显的缺点，由于窗口必须更长。

缓冲：因为延长了窗口的生命周期，所以须要更多的数据缓冲。这个问题能够经过持久储存和增量解决。

完整性：这个须要系统自己根据状况作出估计。

3、将来

咱们定义了流的概念。正确性和推理时间的工具是关键。

经过分析事件时间和处理时间的差别，以及无界数据和有界数据，无界数据大体分为：不关心时间，近似算法，处理时间窗口化，事件时间窗口化。

目前来看，时间问题多是咱们须要重点解决的问题，在102中介绍了一种实时流式处理模型，这也是将来实时计算领域的基石。

让实时处理尽快融入到无限数据的系统中，为用户提供高延迟，高效率间的灵活选择，才是咱们将来努力的方向。

更多实时计算，Kafka等相关技术博文，欢迎关注实时流式计算