分布式计算（五）Azkaban使用

在安装好Azkaban后，熟悉Azkaban的用法花了较长时间，也踩了一些坑，接下来将详细描述Azkaban的使用过程。

 目录

　　1、界面介绍

　　2、Projects

　　　　1. 建立Command类型单一Job示例

　　　　　　1）建立一个Project，填写名称和描述

　　　　　　2）点击Create Project以后

　　　　　　3）建立Job

　　　　　　4）打包Job资源文件并上传

　　　　2. 建立Command类型多Job工做流

　　　　　　1）建立Project

　　　　　　2）上传文件

　　　　　　3）执行一次

　　　　　　4）指定定时任务

 

1、界面介绍

 

 

首页有6个菜单：

• Projects：最重要的部分，建立一个工程，全部flows将在工程中运行
• Scheduling：显示定时任务
• Executing：显示当前运行的任务
• History：显示历史运行任务
• Scheduled Flow Triggers：定时flow触发器
• Documentation：Azkaban文档

2、Projects

建立工程：建立以前咱们先了解下Project、Flow和Job之间的关系，一个Project包含一个或多个Flow，一个Flow包含多个Job。Job是你想在Azkaban中运行的一个进程，能够是简单的Linux命令，能够是Java程序，也能够是复杂的Shell脚本，固然，若是你安装相关插件，也能够运行插件。一个Job能够依赖于另外一个Job，这种多个Job和它们的依赖组成的图表叫作Flow。

1. 建立Command类型单一Job示例

1）建立一个Project，填写名称和描述

2）点击Create Project以后

• Flows：工做流程，由多个Job组成
• Permissions：权限管理
• Project Logs：工程日志

 3）建立Job

建立Job很简单，只要建立一个以.job结尾的文本文件就好了，例如咱们建立一个工做，用来打印Hello Azkaban, welcome to the world!，名字叫作command.job

#command.job

type=command

command=echo 'Hello Cellphone, welcome to this world!'

 一个简单的job就建立好了，解释下，type的command，告诉Azkaban用unix原生命令去运行，好比原生命令或者Shell脚本，固然也有其余类型，后面介绍。

4）打包Job资源文件并上传

注意：只能是zip格式！！！

 

在分布式计算（四）Azkaban安装文中说到，安装的是two server model模式，因此在执行Flow时须要显示指定useExecutor，在 flow params中设置"useExecutor" = EXECUTOR_ID，而EXECUTOR_ID是数据表executors的id。若是不指定，配置的Flow是没法成功执行的。若是不想经过页面设置来指定Executor，能够在properties文件中指定，同时在代码中加上对该属性的解析，而后，才能分发到指定Executor。

2. 建立Command类型多Job工做流

1）建立Project

前面介绍过多个Job和它们的依赖组成Flow。怎么建立依赖，只要指定dependencies参数就好了。好比导入Hive前，须要进行数据清洗，数据清洗前须要上传，上传以前须要从Ftp获取日志。

定义5个Job：

1. download_log_from_ftp1：从ftp1下载日志

2. download_log_from_ftp2：从ftp2下载日志

3. upload_log_to_hdfs：上传日志到hdfs

4. clean_data：清洗数据

5. transport_data_to_hive：将清洗完的数据入hive库

依赖关系：

3依赖1和2，4依赖3，5依赖4，1和2没有依赖关系。

download_log_from_ftp1.job

type=command
# 执行sh脚本，建议这样作，后期只需维护脚本就好了，azkaban定义工做流程
# 这里为了测试，把command修改成echo + 相应命令
command=echo 'sh /job/download_log_from_ftp1.sh'

download_log_from_ftp2.job

type=command
# 执行sh脚本，建议这样作，后期只需维护脚本就好了，azkaban定义工做流程
# 这里为了测试，把command修改成echo + 相应命令
command=echo 'sh /job/download_log_from_ftp2.sh'

upload_log_to_hdfs.job

type=command
command=echo 'sh /job/upload_log_to_hdfs.sh'
#多个依赖用逗号隔开
dependencies=download_log_from_ftp1,download_log_from_ftp2

clean_data.job

type=command
command=echo 'sh /job/clean_data.sh'
#多个依赖用逗号隔开
dependencies=upload_log_to_hdfs

transport_data_to_hive.job

type=command
command=echo 'sh /job/transport_data_to_hive.sh'
#多个依赖用逗号隔开
dependencies=clean_data

能够运行unix命令，也能够运行python脚本（强烈推荐）。将上述job打成zip包。

2）上传文件

建立工程MultiJob，并上传MultiJob.zip

点击transport_data_to_hive进入流程，azkaban流程名称以最后一个没有依赖的job定义的。

右上方是配置执行当前流程或者执行定时流程。

说明：

Flow view：流程视图，能够禁用，启用某些Job
Notification：定义任务成功或者失败是否发送邮件
Failure Options：定义一个Job失败，剩下的Job怎么执行
Concurrent：并行任务执行设置
Flow Parametters：参数设置

 3）执行一次

设置好上述参数，点击execute。

绿色表明成功，蓝色是运行，红色是失败。能够查看job运行时间，依赖和日志，点击details能够查看各个job运行状况。

4）指定定时任务

能够查看下次执行时间。

 

参考：Azkaban学习之路 （三）Azkaban的使用

 问题

1. Azkaban 执行 Flow 一直处于 Preparing 状态，没法正常执行

修改 web-server conf/azkaban.properties 配置

# execute 主机过滤器配置, 去掉 MinimumFreeMemory
# MinimumFreeMemory 过滤器会检查 executor 主机空余内存是否会大于 6G，若是不足 6G，则 web-server 不会将任务交由该主机执行
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus