大数据“重磅炸弹”——实时计算框架 Flink

Flink 学习

项目地址：https://github.com/zhisheng17/flink-learning/

博客：http://www.54tianzhisheng.cn/tags/Flink/

项目结构

├── README.md
├── flink-learning-cep
├── flink-learning-common
├── flink-learning-connectors
│   ├── flink-learning-connectors-activemq
│   ├── flink-learning-connectors-cassandra
│   ├── flink-learning-connectors-es6
│   ├── flink-learning-connectors-flume
│   ├── flink-learning-connectors-hbase
│   ├── flink-learning-connectors-hdfs
│   ├── flink-learning-connectors-influxdb
│   ├── flink-learning-connectors-kafka
│   ├── flink-learning-connectors-mysql
│   ├── flink-learning-connectors-rabbitmq
│   ├── flink-learning-connectors-redis
│   ├── flink-learning-connectors-rocketmq
├── flink-learning-data-sinks
├── flink-learning-data-sources
├── flink-learning-examples
├── flink-learning-monitor
│   ├── flink-learning-monitor-alert
│   ├── flink-learning-monitor-collector
│   ├── flink-learning-monitor-common
│   ├── flink-learning-monitor-storage
├── flink-learning-sql
├── flink-learning-template

博客

一、《从0到1学习Flink》—— Apache Flink 介绍

二、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门

三、《从0到1学习Flink》—— Flink 配置文件详解

四、《从0到1学习Flink》—— Data Source 介绍

五、《从0到1学习Flink》—— 如何自定义 Data Source ？

六、《从0到1学习Flink》—— Data Sink 介绍

七、《从0到1学习Flink》—— 如何自定义 Data Sink ？

八、《从0到1学习Flink》—— Flink Data transformation(转换)

九、《从0到1学习Flink》—— 介绍 Flink 中的 Stream Windows

十、《从0到1学习Flink》—— Flink 中的几种 Time 详解

十一、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 ElasticSearch

十二、《从0到1学习Flink》—— Flink 项目如何运行？

1三、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Kafka

1四、《从0到1学习Flink》—— Flink JobManager 高可用性配置

1五、《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍

1六、《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL

1七、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ

1八、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 HBase

1九、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 HDFS

20、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Redis

2一、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Cassandra

2二、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Flume

2三、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 InfluxDB

2四、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RocketMQ

2五、《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了

2六、《从0到1学习Flink》—— 你的 Flink job 日志跑到哪里去了

学习资料

另外我本身整理了些 Flink 的学习资料，目前已经所有放到微信公众号了。
你能够加个人微信：zhisheng_tian，而后回复关键字：Flink 便可无条件获取到，转载请联系本人获取受权，违者必究。

更多私密资料请加入知识星球！

有人要问知识星球里面更新什么内容？值得加入吗？

目前知识星球内已更新的系列文章：

一、《从1到100深刻学习Flink》—— 源码编译

二、《从1到100深刻学习Flink》—— 项目结构一览

三、《从1到100深刻学习Flink》—— local 模式启动流程

四、《从1到100深刻学习Flink》—— standalonesession 模式启动流程

五、《从1到100深刻学习Flink》—— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动

六、《从1到100深刻学习Flink》—— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动

七、《从1到100深刻学习Flink》——分析 Batch WordCount 程序的执行过程

八、《从1到100深刻学习Flink》——分析 Streaming WordCount 程序的执行过程

九、《从1到100深刻学习Flink》——如何获取 StreamGraph？

十、《从1到100深刻学习Flink》——如何获取 JobGraph？

十一、《从1到100深刻学习Flink》—— Flink JobManager 有什么做用？

十二、《从1到100深刻学习Flink》—— Flink TaskManager 有什么做用？

1三、《从1到100深刻学习Flink》—— JobManager 处理 SubmitJob 的过程

1四、《从1到100深刻学习Flink》—— TaskManager 处理 SubmitJob 的过程

除了《从1到100深刻学习Flink》源码学习这个系列文章，《从0到1学习Flink》的案例文章也会优先在知识星球更新，让你们先经过一些 demo 学习 Flink，再去深刻源码学习！

若是学习 Flink 的过程当中，遇到什么问题，能够在里面提问，我会优先解答，这里作个抱歉，本身平时工做也挺忙，微信的问题不能作所有作一些解答，
但确定会优先回复给知识星球的付费用户的，庆幸的是如今星球里的活跃氛围仍是能够的，有很多问题经过提问和解答的方式沉淀了下来。

一、为什么我使用 ValueState 保存状态 Job 恢复是状态没恢复？

二、flink中watermark到底是如何生成的，生成的规则是什么，怎么用来处理乱序数据

三、消费kafka数据的时候，若是遇到了脏数据，或者是不符合规则的数据等等怎么处理呢？

四、在Kafka 集群中怎么指定读取/写入数据到指定broker或从指定broker的offset开始消费？

五、Flink能经过oozie或者azkaban提交吗？

六、jobmanager挂掉后，提交的job怎么不通过手动从新提交执行？

七、使用flink-web-ui提交做业并执行 可是/opt/flink/log目录下没有日志文件 请问关于flink的日志（包括jobmanager、taskmanager、每一个job本身的日志默认分别存在哪一个目录 ）须要怎么配置？

八、经过flink 仪表盘提交的jar 是存储在哪一个目录下？

九、从Kafka消费数据进行etl清洗，把结果写入hdfs映射成hive表，压缩格式、hive直接可以读取flink写出的文件、按照文件大小或者时间滚动生成文件

十、flink jar包上传至集群上运行，挂掉后，挂掉期间kafka中未被消费的数据，在从新启动程序后，是自动从checkpoint获取挂掉以前的kafka offset位置，自动消费以前的数据进行处理，仍是须要某些手动的操做呢？

十一、flink 启动时不自动建立 上传jar的路径，能指定一个建立好的目录吗

十二、Flink sink to es 集群上报 slot 不够，单机跑是好的，为何？

1三、Fllink to elasticsearch如何建立索引文档期时间戳？

1四、blink有没有api文档或者demo，是否建议blink用于生产环境。

1五、flink的Python api怎样？bug多吗？

1六、Flink VS Spark Streaming VS Storm VS Kafka Stream

1七、大家作实时大屏的技术架构是什么样子的？flume→kafka→flink→redis，而后后端去redis里面捞数据，酱紫可行吗？

1八、作一个统计指标的时候，须要在Flink的计算过程当中屡次读写redis，感受好怪，星主有没有好的方案？

1九、Flink 使用场景大分析，列举了不少的经常使用场景，能够好好参考一下

20、将kafka中数据sink到mysql时，metadata的数据为空，导入mysql数据不成功？？？

2一、使用了ValueState来保存中间状态，在运行时中间状态保存正常，可是在手动中止后，再从新运行，发现中间状态值没有了，以前出现的键值是从0开始计数的，这是为何？是须要实现CheckpointedFunction吗？

2二、flink on yarn jobmanager的HA须要怎么配置。仍是说yarn给管理了

2三、有两个数据流就行connect，其中一个是实时数据流（kafka 读取)，另外一个是配置流。因为配置流是从关系型数据库中读取，速度较慢，致使实时数据流流入数据的时候，配置信息还未发送，这样会致使有些实时数据读取不到配置信息。目前采起的措施是在connect方法后的flatmap的实现的在open 方法中，提早加载一次配置信息，感受这种实现方式不友好，请问还有其余的实现方式吗？

2四、Flink能经过oozie或者azkaban提交吗？

2五、不采用yarm部署flink，还有其余的方案吗？ 主要想解决服务器重启后，flink服务怎么自动拉起？ jobmanager挂掉后，提交的job怎么不通过手动从新提交执行？

等等等，还有不少，复制粘贴的我手累啊 😂

另外里面还会及时分享 Flink 的一些最新的资料（包括数据、视频、PPT、优秀博客，持续更新，保证全网最全，由于我知道 Flink 目前的资料还很少）

关于本身对 Flink 学习的一些想法和建议

Flink 全网最全资料获取，持续更新，点击能够获取

再就是星球用户给我提的一点要求：不按期分享一些本身遇到的 Flink 项目的实战，生产项目遇到的问题，是如何解决的等经验之谈！

一、如何查看本身的 Job 执行计划并获取执行计划图

二、当实时告警遇到 Kafka 千万数据量堆积该咋办？

三、如何在流数据中比两个数据的大小？多种解决方法

四、kafka 系列文章

五、Flink环境部署、应用配置及运行应用程序

固然，除了更新 Flink 相关的东西外，我还会更新一些大数据相关的东西，由于我我的以前不是大数据开发，因此如今也要狂补些知识！总之，但愿进来的童鞋们一块儿共同进步！

一、Java 核心知识点整理.pdf

二、假如我是面试官，我会问你这些问题

三、Kafka 系列文章和学习视频

另外你也能够扫描下面的二维码来查看在 GitChat 的新文章：