《从0到1学习Flink》—— Flink 项目如何运行？

前言

以前写了很多 Flink 文章了，也有很多 demo，可是文章写的时候都是在本地直接运行 Main 类的 main 方法，其实 Flink 是支持在 UI 上上传 Flink Job 的 jar 包，而后运行得。最开始在第一篇 《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 中其实提到过了 Flink 自带的 UI 界面，今天咱们就来看看如何将咱们的项目打包在这里发布运行。

准备

编译打包

项目代码就拿我以前的文章 《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch 吧，代码地址是在 GitHub 仓库地址：https://github.com/zhisheng17/flink-learning/tree/master/flink-learning-connectors/flink-learning-connectors-es6 ，若是感兴趣的能够直接拿来打包试试水。

咱们在整个项目 （flink-learning）pom.xml 所在文件夹执行如下命令打包：

mvn clean install

而后你会发如今 flink-learning-connectors-es6 的 target 目录下有 flink-learning-connectors-es6-1.0-SNAPSHOT.jar 。

启动 ES

注意你的 Kafka 数据源和 ES 都已经启动好了, 清空了下 ES 目录下的 data 数据，为了就是查看是否是真的有数据存入进来了。

提交 jar 包

将此文件提交到 Flinkserver 上，以下图：

点击下图红框中的"Upload"按钮：

以下图，选中刚刚上传的文件，填写类名，再点击"Submit"按钮便可启动 Job：

查看运行结果

以下图，在 Overview 页面可见正在运行的任务：

你能够看到 Task Manager 中关于任务的 metric 数据
、日志信息以及 Stdout 信息。

查看 Kibana ，此时 ES 中已经有数据了：

咱们能够在 flink ui 界面上的 overview cancel 这个 job，那么能够看到 job 的日志：

总结

本篇文章写了下如何将咱们的 job 编译打包并提交到 Flink 自带到 Server UI 上面去运行，也算是对前面文章的一个补充，固然了，Flink job 不只支持这种模式的运行，它还能够运行在 K8s，Mesos，等上面，等之后我接触到再写写。

本文原创地址是: http://www.54tianzhisheng.cn/2019/01/05/Flink-run/ , 未经容许禁止转载。

关注我

微信公众号：zhisheng

另外我本身整理了些 Flink 的学习资料，目前已经所有放到微信公众号了。你能够加个人微信：zhisheng_tian，而后回复关键字：Flink 便可无条件获取到。

Github 代码仓库

https://github.com/zhisheng17/flink-learning/

之后这个项目的全部代码都将放在这个仓库里，包含了本身学习 flink 的一些 demo 和博客

相关文章

一、《从0到1学习Flink》—— Apache Flink 介绍

二、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门

三、《从0到1学习Flink》—— Flink 配置文件详解

四、《从0到1学习Flink》—— Data Source 介绍

五、《从0到1学习Flink》—— 如何自定义 Data Source ？

六、《从0到1学习Flink》—— Data Sink 介绍

七、《从0到1学习Flink》—— 如何自定义 Data Sink ？

八、《从0到1学习Flink》—— Flink Data transformation(转换)

九、《从0到1学习Flink》—— 介绍Flink中的Stream Windows

十、《从0到1学习Flink》—— Flink 中的几种 Time 详解

十一、《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch

十二、《从0到1学习Flink》—— Flink 项目如何运行？

1三、《从0到1学习Flink》—— Flink 写入数据到 Kafka

1四、《从0到1学习Flink》—— Flink JobManager 高可用性配置

1五、《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍

1六、《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL

1七、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ

1八、《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了?