Flink web UI的使用介绍

最近也是因为电脑出了一点问题,就没有更新,今天主要来介绍一下Flink的web ui的使用,咱们先提交一个job上去(个人集群是on yarn的),命令以下:

flink run  -m yarn-cluster -c flink.window.FlinkWindowDemo -yn 2 -ys 4 -nm hbase -yjm 2048 -ytm 2048 -p 9 /home/jason/bigdata/jar/flink-1.0-SNAPSHOT.jar -d

提交后稍微等一下子,由于Flink的UI反应仍是有点慢,首页以下,能够看到整个UI界面仍是比较简陋的,固然了后面阿里会有优化.

先看左边的菜单栏,咱们一个一个介绍

1,概述,能够看到中间显示了咱们这个job申请的tm个数,task slots个数,和可用的task slots数,右边显示了总共的job,正在运行的job,以及完成的,取消的,和失败的job的个数,下面是正在运行的job的列表,和完成的job的列表

2,而后咱们点击正在运行的job进去,就能够看到咱们刚才提交的job的详细信息,以下图所示.

能够看到上面是job的DAG图,下面是子任务,任务监控,水印,累加器,检查点,被压,里面具体的就不详细说了,你们能够本身点进去都看一下.能够看到咱们设置的任务并发度,接受数据的个数,等信息.

3,已经完成的job,这个是须要配置history-server的,并启动,而后才能够看到,这里不详细说,后面会有介绍.

4,tm咱们直接点进去看一下,以下图所示

能够看到tm的详细配置信息,内存,cpu等资源信息.点击第二个logs,就能够看到tm的日志,可是会比较卡,由于全部的日志都在一个文件里面,接着主要说一下第三个stdout,这里面能够看到咱们打印的结果信息,这里为了方便看,我向kafka写了一些数据,以下

 可是这个地方须要注意,测试的时候咱们能够打印,线上必定不要写print.由于数据量大的时候会直接把这个页面卡死,加载不出来.切记.

5,jm就不在说了,跟tm差很少,会显示在conf里面配置的全部配置信息,直接看下面的图片吧

 6,最后一个提交新的job,Flink不只支持用命令提交任务,也支持在页面提交任务,接下来咱们就在页面上提交一个任务

 

 点击add new按钮,会弹出选择jar包,咱们还选择刚才那个.而后右边有显示一个upload按钮,点击upload后,右边会显示一个进度条,上次成功以下图(注意jar包尽可能打的小一点,否则会很慢)

点击箭头所指的小方框,会显示以下的界面

参数我就简单的配置了一下,点击提交按钮,会直接跳转到下面的界面

固然这个和上面那个同样哈,由于就是执行的同一个类,而后咱们回去到运行的任务界面,能够看到会有两个job在运行

Flink的web ui总体看上去仍是比较简单的,并且加载的也有点慢,logs也打印的比较乱,不太好找,并且输出当数据量大的时候页面会直接卡死,用户体验通常,固然了目前阿里的Blink已经从新设计了UI界面,包括性能,日志啊,总体的风格都发生了很大的变化,后面会带来Blink的体验.也会有更多的客户端的操做介绍.

若是有写的不对的地方,欢迎你们指正,若是有什么疑问,能够加QQ群:340297350,更多的Flink和spark的干货能够加入下面的星球