企业实践 | 如何更好地使用 Apache Flink 解决数据计算问题？

时间 2019-11-11

标签企业实践如何更好使用 apache flink 解决数据计算问题栏目 Apache 繁體版

原文原文链接

业务数据的指数级扩张，数据处理的速度可不能跟不上业务发展的步伐。基于 Flink 的数据平台构建、运用 Flink 解决业务场景中的具体问题等随着 Flink 被更普遍的应用于广告、金融风控、实时 BI、实时数仓、实时推荐等多种业务场景，在生产实践中已有丰富的案例与优秀的经验。docker

Flink Forward Asia 倒计时 28 天，企业实践专题大会邀请了字节跳动、滴滴出行、快手、Bilibili、网易、爱奇艺、中国农业银行、奇虎360、贝壳找房、奇安信等不一样行业一线技术专家分享 Apache Flink 与大数据基础平台建设进展和实践，详细解读大数据相关技术在各行业的应用与落地，包括应用场景、业务痛点、面临挑战、如何破局等宝贵实践经验。后端

点击下方连接可提早了解更多有趣议程：
https://developer.aliyun.com/special/ffa2019-conference?spm=a2c6h.13239638.0.0.21f2795503PjxQ安全

部分精彩议题

《Apache Flink 在字节跳动的实践与优化》

Speaker：张光辉@字节跳动

主要介绍字节跳动最近在 Flink 上作的相关实践与优化工做，主要分 6 个部分来介绍，分别是：服务器

1.Flink SQL 的应用和扩展;
2.Flink 负载均衡调度，分两个阶段，分别在 Yarn 分配 Container 阶段，在 Flink 内部 TaskScheduler 阶段；
3.Flink on docker on Yarn 解决基础环境隔离问题；
4.Flink CEP 多 Pattern 匹配和动态加载，为安全和风控团队提供支持；
5.提高 Checkpoint/Savepoint 易用性；
6.Flink BugFix & 优化：Flink Netty 网路链接单向断开致使 hang 住；异步申请启动 Container，加快提交速度；Flink JVM 参数配置优化；Flink Client 端和 TM端类加载机制不一样等。架构

《Apache Flink 在中国农业银行的探索和实践》

Speaker：侯鑫磊@中国农业银行

Apache Flink 做为新一代批流计算引擎，在金融科技应用愈来愈普遍，本次分享主要介绍农业银行以 Apache Flink 做为混合计算引擎，在反欺诈、系统异常检测、实时数据统计等应用中进行的探索和实践。内容包括：负载均衡

1.Flink 在农业银行的使用场景
2.实践介绍，Flink 的做用和性能
3.Flink 应用效果
4.将来展望运维

《B 站基于 Flink 的平台化探索与实践》

Speaker：郑志升@Bilibili

B 站早期的实时计算需求，多数是各业务线根据个性化定制的做坊形式，而随着需求量加大以及做坊式效率的低下，2017 年末 Saber 大数据实时计算平台诞生，建设近两年主要解决了基于 Flink 和 Spark 的实时 SQL IDE 及少许应用层 DAG IDE，应用于监控、实时 BI 分析及实时报表等场景。机器学习

而在 2018 年中切入了机器学习的实时工程领域，并提供给 AI、搜索及广告等各个 BU，用于实时模型训练的多流会话窗口 Join、维表数据 Join 的场景，以及大窗口下实时特征工程的探索与支持。更多内容详见本次分享。目录大纲四部分：异步

1.背景与现状
2.实时计算平台的演进
3.结合 AI 的工程探索与实践
4.挑战与将来分布式

《基于 Flink 构建 CEP 引擎的挑战和实践》

Speaker：韩鹏@奇安信

在大数据领域，根据业务需求和特色来作技术决策已经成为技术选型和开发的基本原则，本演讲主要介绍奇安信集团如何根据大数据安全分析的业务特色基于 Flink 来设计和实现一个独立的 CEP（ComplexEvent Process）引擎，这个引擎和 Flink-CEP 的不一样点，以及在研发过程当中遇到和解决的技术问题。

企业实践专题完整议程

11月28日下午，企业实践专题分享

11月29日上午，企业实践专题分享

深度培训，作技术实力派

大会组委会还为使用 Flink、但愿深度学习的开发者们精心准备了培训课程。届时，来自阿里巴巴和 Ververica 的 Flink 专家们将带领开发者开展为期一天半的深度学习。

Apache Flink PMC 带队，超豪华阵容，阿里巴巴及 Flink 创始团队资深技术专家担任培训讲师，为开发者培训课程制定全面学习体系。
课程可以知足不一样学习需求，不管是入门仍是进阶，开发者可根据自身基础选择课程内容，实现技术与应用能力上的积累与提高。

课程主要大纲以下：

中阶一：Apache Flink 开发人员培训

本课程是对想要学习构建流应用程序的 Java 和 Scala 开发人员进行的关于 Apache Flink 的实践介绍。培训将重点介绍分布式数据流、事件时间和状态等核心概念。练习将使您有机会了解以上概念在 API 中是如何被体现的，并了解如何将这些概念组合用以解决实际问题。

介绍流计算和 Apache Flink
DataStream API 的基础
为 Flink 开发作准备(包括练习)
有状态的流处理(包括练习)
时间、定时器和 ProcessFunction(包括练习)
链接多个流(包括练习)
测试(包括练习)

说明：不须要 Apache Flink 的相关知识。

中阶二：Apache Flink 运维培训

本课程是针对 Apache Flink 应用程序的部署和操做相关的实践性介绍。目标受众包括负责部署 Flink 应用程序和维护 Flink 集群的开发人员和运维人员。演示将重点介绍 Flink 运行中涉及的核心概念，以及用于部署、升级和监控 Flink 应用程序的主要工具。

介绍流计算和 Apache Flink
数据中内心的 Flink
分布式架构介绍
容器化部署(包括实际操做)
状态后端和容错(包括实际操做)
升级和状态迁移(包括实际操做)
指标(包括实践)
容量规划

说明：不须要对 Apache Flink 有先验知识。

中阶三：SQL 开发人员培训

Apache Flink 支持 SQL 做为流处理和批处理的统一 API。SQL 能够用于各类各样的场景，而且相比使用 Flink 的底层 API，SQL 将更容易构建和维护。在本次培训中，您将学习到如何充分发挥使用 SQL 来编写 Apache Flink 做业的潜力。咱们将研究流式 SQL 的不一样案例，包括链接流数据、维表关联、窗口聚合、维护物化视图，以及使用 MATCH RECOGNIZE 子句进行模式匹配（这是 SQL 2016 新提出的标准）。

介绍 SQL on Flink
使用 SQL 查询动态表
链接动态表
模式匹配与 match_recognition
生态系统&写外部表

说明：不须要 Apache Flink 的先验知识，可是须要基本的 SQL 知识。

高阶：Apache Flink 调优和问题排查

在过去的几年中，咱们与许多 Flink 用户合做沟通期间了解到许多将流计算做业从早期 PoC 阶段慢慢过渡到生产过程当中最多见的挑战。在这次培训中，咱们将集中精力介绍这些挑战，而且帮助你们一块儿消除它。咱们将提供一个有用的故障诊断工具集，并介绍例如监控、水印、序列化、状态后端等领域的最佳实践和技巧。在实践课程的间隙中,参与者将有机会使用新学习到的知识来解决一些异常 Flink 做业表现出来的问题。同时，咱们也将概括那些使做业没有进展或吞吐量没有达到预期，或做业延迟的常见缘由。

时间和水印
状态处理和状态后端
Flink 的容错机制
检查点和保存点
DataStream API 和 ProcessFunction。

培训系列课程为精品小班教学，数量有限，预定满额将关闭入口，有相关培训需求的同窗可尽早预定。详细说明：

参加培训请选择购买 VIP 套票。中阶培训购买 VIP 套票 1，高阶培训购买 VIP 套票 2。
VIP 套票 1 可参与中阶全部课程，VIP 套票 2 可参与包括高阶、中阶培训在内的全部课程。

点击「大会详情」可了解更多培训课程与 Flink Forward Asia 2019 大会信息，限量席位，越早预定越能抓住时代先机～

双11福利来了！先来康康#怎么买云服务器最便宜# [并不简单]参团购买指定配置云服务器仅86元/年，开团拉新享三重礼：1111红包+瓜分百万现金+31%返现，爆款必买清单，还有iPhone 11 Pro、卫衣、T恤等你来抽，立刻来试试手气！https://www.aliyun.com/1111/2019/home?utm_content=g_1000083110

本文做者：巴蜀真人

原文连接

本文为云栖社区原创内容，未经容许不得转载。