如何将实时计算 Flink 与自身环境打通

简介： 如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 客训练营产品、技术专家齐上阵，从 Flink的发展、 Flink 的技术原理、应用场景及行业案例，到开源Flink功能介绍和实时计算 Flink 优点详解，现场实操，9天便可上手！ 本篇内容将介绍如何实时计算 Flink 与自身环境打通。

1、运行做业的Jar如何存储在OSS上

在VVP平台有两种方法能够上传做业的jar。

方法一，借助VVP提供的资源上传功能，能够直接使用这个功能对Jar进行上传目前该功能支持200兆之内的Jar包上传。使用时，直接在建立做业的时候选择上传的jar包就能够了，演示以下：

● 进入到VVP平台，点击左侧资源上传功能，而后在打开页面点击右上角的上传资源，选择要上传的Jar包，完成上传；

● 上传成功后，点击左侧建立做业，完善做业名等信息。在Jar URI栏，下拉选择刚刚上传的Jar包，点击肯定完成建立做业，而后启动便可使用。

方法二，直接在OSS的控制台上面，将要使用的Jar上传上去，而后使用OSS是提供的Jar连接来行使用。使用的时候也比较简单，直接使用OSS提供的Jar连接，演示以下：

● 打开OSS控制台，选择在建立VVP时候使用的Bucket，再选择目录，点击上传文件，上传时能够将它的权限设置为公共读，点击上传文件即完成；
● 使用时，OSS控制台上点击已上传包右侧的“详情”，获取该Jar包的URL连接。

● 建立做业时，将jar包的URL的连接填入Jar URI，以下图所示：

须要注意，OSS详情页面提供的连接是公网访问的，开通的VVP并不能直接访问公网，因此在建立做业使用HTTPS的时候，须要使用VPC访问的endpoint（例如：https://vvp-training.oss-cn-s...），这样才能正常的启动做业。

若是想用公网获取一个HTTPS的连接，怎么操做呢？能够首先对VVP进行公网打通，打通的操做流程能够参考阿里云帮助文档中的《Flink 全托管集群如何访问公网》（https://help.aliyun.com/docum...），简单来讲步骤以下：

● 首先，建立一个NAT网关。建立时选择“组合购买ERP”，而后选择区域并补充名称等信息，而后绑定弹性公网IP，完成建立；
● 其次，建立SNAT条目。建立好NAT以后，点击“建立SNAT条目”，在弹窗选择交换机并补充名称信息，完成建立。

完成上述两个步骤，该VVP实例就已经打通公网，在建立Deployment时就能够直接使用https公网可访问的jar包了。

2、在VVP平台上 Flink 如何与典型数据源进行交互

这部介绍如何经过SQL以及connectors与外部的一些数据存储系统进行交互，以SLS，Kafka做为数据源读写数据为例。

（实操演示）点击SQL编辑器，建立一个Datagen Table，它是用于数据的随机生成的，而后点击运行。而后再点击生成一个SLS Table，补充所需参数信息，而后点击建立完成。

建立完成后，写入SQL语句，好比insert into sls select id, name from datagen，而后另存后点击运行，建立Deployment并启动。

看成业成功运行后，在SLS上查询数据。以下图所示，说明datagen已经生成数据并成功写入SLS。

相似的，咱们能够按照上面的步骤从SLS读数据而后写入Kafka：

● 在vvp的sql编辑器页面建立一个Kafka table
● 用SQL语法从SLS读取数据写入Kafka中并启动
● 做业运行成功后，即开始从SLS读数据写入Kafka中

3、如何将VVP平台上 Flink的指标打入外部Metrics系统

接下介绍若是想把运行做业的指标放入到一些系统当中去，并进行指标观测。VVP提供了两种方法：

方法一，VVP默认的将 Flink 做业指标打入到arms，不须要额外的处理，直接运行做业以后，就能经过指标按钮看到，以下图所示：

方法二，若是本身有指标系统，想把 Flink 的做业指标打入到本身的系统里，主要有两点：首先保证VVP上做业与本身指标系统网络的连通性；其次在 Flink conf 中配置好相应的metrics reporter。以下图所示，在建立做业过程当中，进行metric配置（metrics reporters配置参考：https://ci.apache.org/project...）：

例：使用premetheus的pushGateway方式，因此reporter class就选择org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter。按上图所示配置pushGateway的port和host，Metric reporter就配置完成了。做业启动成功后在配置好的grafana大盘上查看指标，以下例所示。

4、如何将Flink做业日志打入到外部系统

若是在做业运行中，忽然运行失败，咱们想要查看运行失败做业的日志，就须要把 Flink 做业的日志保存下来。在VVP平台为这个目的提供了两种方案，将Logs写入OSS中或SLS中，简单来讲，在建立做业的时候， 在Log配置项里面配置一些Log参数。

配置参考文档：https://help.aliyun.com/docum...

方法一，将日志写入OSS中。在建立做业的时候，在高级配置中的Log配置里，选择使用用户自定义，而后将（帮助文档）里面的配置放在自定义的配置中去，再将一些参数换成OSS的必要参数就能够了。

须要查看日志时，能够经过帮助文档的指导，找到日志存放的文件，而后点击下载查看。

方法二，将日志写入SLS中。与方法一相似，只是LOG配置项稍有差别；下载和查看方法与方法一一致。

做者：阿里云实时计算Flink
原文连接 本文为阿里云原创内容，未经容许不得转载