Azkaban3.x

Azkaban3.x安装部署

官方文档地址

三种模式

• solo-server模式：exec进程和web进程为同一个进程，存放元数据的数据库为H2
• two-server模式：与以前的单机版本相似，exec进程和web进程分开，存放元数据的数据库为mysql
• multiple-executor模式：exec进程和web进程在不一样的机器上，存放元数据的数据库为mysql

1、solo模式安装

　　1.克隆项目：git clone https://github.com/azkaban/azkaban.git
　　2.编译：./gradlew build installDist
　　3.启动：cd azkaban-solo-server/build/install/azkaban-solo-server; bin/azkaban-solo-start.sh

　　4.在8081端口查看
　　5.中止：bin/azkaban-solo-shutdown.sh

2、two-server模式

1 下载。git clone https://github.com/azkaban/azkaban.git

获得文件夹azkaban/,当前版本为3.39.0

2 编译。

在azkaban目录下执行 ：./gradlew distTar

编译结果为：

azkaban-common : 经常使用工具类。

azkaban-db : 对应的sql脚本

azkaban-hadoop-secutity-plugin : hadoop 有关kerberos插件

azkaban-solo-server: web和executor 一块儿的项目。

azkaban-web/executor-server:azkaban的 web和executor的server信息

azkaban-spi: azkaban存储接口以及exception类

建立文件夹:mkdir azkaban-3.39

3 拷贝

cp azkaban-exec-server/build/distributions/azkaban-exec-server-3.39.0-17-g7b7833a.tar.gz /opt/modules/azkaban3.39.0/
cp azkaban-web-server/build/distributions/azkaban-web-server-3.39.0-17-g7b7833a.tar.gz /opt/modules/azkaban3.39.0/

cp azkaban-db-3.39.0/build/distributions/azkaban-db-3.39.0-2-gbd9e6e4.tar.gz /azkaban-3.39/

4.解压缩后并从新命名

5.安装mysql

这里直接使用root用户

安装mysql服务器:yum install mysql-server

设置开机启动:chkconfig mysqld on 

启动mysql服务:service mysqld start

设置root的初试密码：mysqladmin -u root password '123456'

启动mysql:  systemctl start mysqld.service

打开mysql:mysql -uroot -p123456

　　建立数据库>CREATE DATABASE azkaban

　　use azkaban

  source  /azkaban-3.39/azkaban-db-3.39.0-2/create-all-sql-3.39.0-2-gbd9e6e4.sql

6.建立SSL配置

在azkaban-web=*/conf下

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

输入密钥库口令:  

密钥库口令过短 - 至少必须为 6 个字符

输入密钥库口令:  

再次输入新口令: 

您的名字与姓氏是什么?

[Unknown]:  

您的组织单位名称是什么?

[Unknown]:  

您的组织名称是什么?

[Unknown]:  

您所在的城市或区域名称是什么?

[Unknown]:  

您所在的省/市/自治区名称是什么?

[Unknown]:  

该单位的双字母国家/地区代码是什么?

[Unknown]: CN

CN=, OU=, O=, L=, ST=, C=CN是否正确?[否]:  Y

7.将azkaban-solo-server-3.39.0下的conf，plugins，sql拷贝到azkaban-exec-server-3.39.0

　　1>配置 conf/azkaban.properties

　　　　修改数据库配置

　　　　database.type=mysql

　　　　mysql.port=3306

　　　　mysql.host=192.168.3.247

　　　　mysql.database=azkaban

　　　　mysql.user=root

　　　　mysql.password=123456

　　　　mysql.numconnections=100

 

　　2>添加log4j.properties文件

　　　　在/conf下新建log4j.properties文件

　　　　将

　　　　log4j.rootLogger=INFO,C

　　　　log4j.appender.C=org.apache.log4j.ConsoleAppender

　　　　log4j.appender.C.Target=System.err

　　　　log4j.appender.C.layout=org.apache.log4j.PatternLayout

　　　　log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

　　　　拷入，一样执行器exec文件下的/conf也须要新建

　　3>添加mysql驱动

　　　　在/azkaban-3.39/azkaban-exec-server-3.39.0-2下新建文件夹 ：mkdir extlib

　　　　将lib下的mysql连接驱动复制到extlib下

　　　　同时须要修改ban-3.39/azkaban-web-server-3.39.0-2下的azkaban.properties,创建extlib文件将mysql驱动拷入

8.启动

注意先启动执行器而后启动web服务器，须要在bin级目录执行，不然汇报找不到配置文件的错误

cd azkaban-exec-server-3.39.0-2

   bin/azkaban-executor-start.sh

cd azkaban-web-server-3.39.0-2

   bin/azkaban-web-start.sh（后台启动：nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out &）

常见错误：

1.执行任务时Missing required property 'azkaban.native.lib'

　　解决方案:azkaban-3.37.0/azkaban-common/src/main/java/azkaban/jobExecutor/ProcessJob.java里  

　　而后重启

2.若mysql数据库连接不上请检查mysql数据库下azkaban数据库是否能够访问，

　　若没法远程访问请使用root用户登陆到mysql数据库

　　mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';   

　　mysql> GRANT ALL ON azkaban.* to 'azkaban'@'%' IDENTIFIED BY 'azkaban';

 

配置文件azkaban.properties内容说明:

#Azkaban Personalization Settings azkaban.name=Test     #服务器UI名称,用于服务器上方显示的名字 azkaban.label=My Local Azkaban    #描述 azkaban.color=#FF3601     #UI颜色 azkaban.default.servlet.path=/index     web.resource.dir=web/    #默认根web目录 default.timezone.id=Asia/Shanghai  #默认时区,已改成亚洲/上海 默认为美国   #Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager   #用户权限管理默认类 user.manager.xml.file=conf/azkaban-users.xml   #用户配置,具体配置参加下文   #Loader for projects executor.global.properties=conf/global.properties    # global配置文件所在位置 azkaban.project.dir=projects     database.type=mysql    #数据库类型 mysql.port=3306    #端口号 mysql.host=localhost  #数据库链接IP mysql.database=azkaban    #数据库实例名 mysql.user=root      #数据库用户名 mysql.password=root    #数据库密码 mysql.numconnections=100    # Velocity dev mode velocity.dev.mode=false # Jetty服务器属性. jetty.maxThreads=25   #最大线程数 jetty.ssl.port=8443   #Jetty SSL端口 jetty.port=8081      #Jetty端口 jetty.keystore=keystore   #SSL文件名 jetty.password=123456    #SSL文件密码 jetty.keypassword=123456    #Jetty主密码 与 keystore文件相同 jetty.truststore=keystore    #SSL文件名 jetty.trustpassword=123456   # SSL文件密码   # 执行服务器属性 executor.port=12321    #执行服务器端口   # 邮件设置 mail.sender=xxxxxxxx@163.com     #发送邮箱 mail.host=smtp.163.com   #发送邮箱smtp地址 mail.user=xxxxxxxx     #发送邮件时显示的名称 mail.password=**********   #邮箱密码 job.failure.email=xxxxxxxx@163.com   #任务失败时发送邮件的地址 job.success.email=xxxxxxxx@163.com   #任务成功时发送邮件的地址 lockdown.create.projects=false    cache.directory=cache    #缓存目录

 

 

用户配置(可选)

进入azkaban web服务器conf目录,修改azkaban-users.xml

vi azkaban-users.xml 增长 管理员用户

<azkaban-users>         <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />         <user username="metrics" password="metrics" roles="metrics"/>         <user username="admin" password="admin" roles="admin,metrics" />         <role name="admin" permissions="ADMIN" />         <role name="metrics" permissions="METRICS"/> </azkaban-users>

 

Azkaban实战

Azkaba内置的任务类型支持command、java、python

 Command类型单一job示例

一、建立job描述文件

vi command.job

#command.job type=command                                                    command=echo 'hello'

二、将job资源文件打包成zip文件

zip command.job

三、经过azkaban的web管理平台建立project并上传job压缩包

首先建立project

上传zip包

 

四、启动执行该job

 

Command类型多job工做流flow

一、建立有依赖关系的多个job描述

第一个job：foo.job

# foo.job type=command command=echo foo

第二个job：bar.job依赖foo.job

# bar.job type=command dependencies=foo command=echo bar

 

二、将全部job资源文件打到一个zip包中

 

 

三、在azkaban的web管理界面建立工程并上传zip包

四、启动工做流flow

HDFS操做任务

一、建立job描述文件

# fs.job type=command command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop fs -mkdir /azaz

 

二、将job资源文件打包成zip文件

三、经过azkaban的web管理平台建立project并上传job压缩包

四、启动执行该job

MAPREDUCE任务

Mr任务依然能够使用command的job类型来执行

一、建立job描述文件，及mr程序jar包（示例中直接使用hadoop自带的examplejar）

# mrwc.job type=command command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop  jar hadoop-mapreduce-examples-2.6.1.jar wordcount /wordcount/input /wordcount/azout

  

二、将全部job资源文件打到一个zip包中

  

三、在azkaban的web管理界面建立工程并上传zip包

四、启动job

HIVE脚本任务

l  建立job描述文件和hive脚本

Hive脚本： test.sql

use default; drop table aztest; create table aztest(id int,name string) row format delimited fields terminated by ','; load data inpath '/aztest/hiveinput' into table aztest; create table azres as select * from aztest; insert overwrite directory '/aztest/hiveoutput' select count(1) from aztest;

Job描述文件：hivef.job

# hivef.job type=command command=/home/hadoop/apps/hive/bin/hive -f 'test.sql'

 

二、将全部job资源文件打到一个zip包中

三、在azkaban的web管理界面建立工程并上传zip包

四、启动job