Apache Flink 为何可以成为新一代大数据计算引擎？

时间 2020-02-07

标签 apache flink 为何可以成为新一代数据计算引擎栏目 Apache 繁體版

原文原文链接

众所周知，Apache Flink（如下简称 Flink）最先诞生于欧洲，2014 年由其创始团队捐赠给 Apache 基金会。如同其余诞生之初的项目，它新鲜，它开源，它适应了快速转的世界中更重视的速度与灵活性。后端

大数据时代对人类的数据驾驭能力提出了新的挑战，Flink 的诞生为企业用户得到更为快速、准确的计算能力提供了史无前例的空间与潜力。做为公认的新一代大数据计算引擎，Flink 究竟以何魅力成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设流计算平台的首选？架构

听听 Flink 的核心贡献者们怎么说！11 月 28-30 日，Flink Forward Asia 2019，Apache Flink 核心贡献者与业界资深专家带你全方位解锁 Flink 的独特技术魅力。并发

惊喜环节：ASK ME ANYTHING

提早剧透：大会现场将邀请 Apache Flink 核心贡献者们设置 Ask Me Anything 惊喜环节，Flink SQL、Runtime、Hive 等任何关于 Flink 的技术问题能够现场提问！运维

Flink 亲爹 Stephan 同窗也可能参与现场互动哦，若是你好奇 Flink 的 logo 为何是小松鼠就能够当面举手提问啦～分布式

核心技术专场部分精彩议题概览

《将 Apache Flink 用做一体化的数据处理平台》

崔星灿，Apache Flink Committer，York University 博士后工具

做为新一代的流处理引擎，Apache Flink 已经普遍应用于不少实时做业场景中。咱们发现它在通过近几个版本的迭代后，已经具有一些成为一体化数据处理平台的潜力，可同时用来处理动态和静态的数据，进行分布式和集中式计算，以及支持做业式和交互式任务等。性能

本次演讲，咱们旨在向你们展现一些探索性质的尝试——将 Apache Flink 用做某一通用数据处理流程的一体化后端平台。具体而言，咱们会首先介绍这一通用的数据处理流程，并简要描述它每一个阶段的特色。随后，咱们会详细解释如何在不触及 Flink 核心的前提下对其进行“塑造”，以知足多样化的数据处理需求。在此期间还会涉及部分对 Flink 运行机制的讲解。最后，基于将 Flink 打形成为一个真正的一体化数据处理平台这一目标，咱们将对将来工做进行一些展望。学习

《Bring Cross DC and Cross Data Source SQL Engine to Apache Flink》

张韶全，腾讯 Senior Engineer测试

漂移计算 SuperSQL 是腾讯大数据自研的跨数据中心、跨集群、跨数据源的高性能大数据 SQL 引擎，知足对位于不一样数据中心/集群的不一样类型数据源的数据联邦分析/即时查询的需求。解决大数据中数据孤岛难题，下降数据使用壁垒，提高数据使用效率，最大化数据价值。大数据

在这个演讲中，咱们会介绍漂移计算 SuperSQL 项目的细节，包括：

漂移计算的背景和定位
漂移计算的主要技术挑战
漂移计算的总体架构
漂移计算的技术细节
漂移计算的性能表现
将来规划

《New Flink source API: Make it easy》

秦江杰，Apache Flink PMC，Apache Kafka PMC，阿里巴巴高级技术专家

Flink 已经拥有了丰富的 connector 生态，可是要为 Flink 建立一个生产可用的 connector 依然须要考虑包括多并发协同，一致性语义，线程模型和容错等在内的一系列问题，而其中 Source 相对于 Sink 又更为复杂。为了让用户更容易实现高质量的 connector，Flink 社区在 FLIP-27 中引入了一个新的 Flink Source API，旨在帮用户解决上述一系列复杂问题，让用户能够快速编写一个高质量的 connector。本演讲将介绍新的 Flink Source API 的设计思路以及如何利用新的 Source Connector API 快速建立一个生产可用的 Flink source connector。

《深刻探索 Flink SQL 流批统一的查询引擎与最佳实践》

伍翀，Apache Flink Committer，阿里巴巴技术专家
李劲松，Apache Beam Committer，阿里巴巴技术专家

Flink SQL 做为 Apache Flink 的核心模块，已经收获了愈来愈多用户的关注，而且以其易于使用的 API 和高性能的 SQL 引擎，在生产实践中扮演者愈来愈重要的角色。

该演讲将以最新发布的 Flink SQL 为切入点，分别从流处理和批处理的角度，重点分享 Flink SQL 中核心功能的技术细节和调优经验，听众将收获对 Flink SQL 更深刻的理解，以及了解如何对 Flink SQL 做业进行调优。

Apache Flink 核心技术专场完整议程

（11 月 28 日下午）

（11 月 29 日上午）

深度培训，实现技术与应用能力的积累提高

大会组委会还为使用 Flink、但愿深度学习的开发者们精心准备了培训课程。届时，来自阿里巴巴和 Ververica 的 Flink 专家们将带领开发者开展为期一天半的深度学习。

Apache Flink PMC 带队，超豪华阵容，阿里巴巴及 Flink 创始团队资深技术专家担任培训讲师，为开发者培训课程制定全面学习体系。
课程可以知足不一样学习需求，不管是入门仍是进阶，开发者可根据自身基础选择课程内容，实现技术与应用能力上的积累与提高。

课程主要大纲以下：

中阶一：Apache Flink 开发人员培训

本课程是对想要学习构建流应用程序的 Java 和 Scala 开发人员进行的关于 Apache Flink 的实践介绍。培训将重点介绍分布式数据流、事件时间和状态等核心概念。练习将使您有机会了解以上概念在 API 中是如何被体现的，并了解如何将这些概念组合用以解决实际问题。

介绍流计算和 Apache Flink
DataStream API 的基础
为 Flink 开发作准备(包括练习)
有状态的流处理(包括练习)
时间、定时器和 ProcessFunction(包括练习)
链接多个流(包括练习)
测试(包括练习)

说明：不须要 Apache Flink 的相关知识。

中阶二：Apache Flink 运维培训

本课程是针对 Apache Flink 应用程序的部署和操做相关的实践性介绍。目标受众包括负责部署 Flink 应用程序和维护 Flink 集群的开发人员和运维人员。演示将重点介绍 Flink 运行中涉及的核心概念，以及用于部署、升级和监控 Flink 应用程序的主要工具。

介绍流计算和 Apache Flink
数据中内心的 Flink
分布式架构介绍
容器化部署(包括实际操做)
状态后端和容错(包括实际操做)
升级和状态迁移(包括实际操做)
指标(包括实践)
容量规划

说明：不须要对 Apache Flink 有先验知识。

中阶三：SQL 开发人员培训

Apache Flink 支持 SQL 做为流处理和批处理的统一 API。SQL 能够用于各类各样的场景，而且相比使用 Flink 的底层 API，SQL 将更容易构建和维护。在本次培训中，您将学习到如何充分发挥使用 SQL 来编写 Apache Flink 做业的潜力。咱们将研究流式 SQL 的不一样案例，包括链接流数据、维表关联、窗口聚合、维护物化视图，以及使用 MATCH RECOGNIZE 子句进行模式匹配（这是 SQL 2016 新提出的标准）。

介绍 SQL on Flink
使用 SQL 查询动态表
链接动态表
模式匹配与 match_recognition
生态系统&写外部表

说明：不须要 Apache Flink 的先验知识，可是须要基本的 SQL 知识。

高阶：Apache Flink 调优和问题排查

在过去的几年中，咱们与许多 Flink 用户合做沟通期间了解到许多将流计算做业从早期 PoC 阶段慢慢过渡到生产过程当中最多见的挑战。在这次培训中，咱们将集中精力介绍这些挑战，而且帮助你们一块儿消除它。咱们将提供一个有用的故障诊断工具集，并介绍例如监控、水印、序列化、状态后端等领域的最佳实践和技巧。在实践课程的间隙中,参与者将有机会使用新学习到的知识来解决一些异常 Flink 做业表现出来的问题。同时，咱们也将概括那些使做业没有进展或吞吐量没有达到预期，或做业延迟的常见缘由。

时间和水印
状态处理和状态后端
Flink 的容错机制
检查点和保存点
DataStream API 和 ProcessFunction。

培训系列课程为精品小班教学，数量有限，预定满额将关闭入口，有相关培训需求的同窗可尽早预定。详细说明：

参加培训请选择购买 VIP 套票。中阶培训购买 VIP 套票 1，高阶培训购买 VIP 套票 2。
VIP 套票 1 可参与中阶全部课程，VIP 套票 2 可参与包括高阶、中阶培训在内的全部课程。

若是你也好奇 Flink 将来的主要探索方向，如何利用 Flink 将大数据、算力推到极致，Flink 有哪些新场景、新规划以及最佳实践等话题，来现场吧！相信这群来自一线的技术专家们，必定会刷新你对 Apache Flink 的认知。

点击「原文连接」可了解更多培训课程与 Flink Forward Asia 2019 大会议程～

本文做者：巴蜀真人

原文连接

本文为云栖社区原创内容，未经容许不得转载。