Azkaban Two Server模式部署

时间  2019-11-12
标签 azkaban server 模式 部署 繁體版
原文   原文链接

Azkaban Two Server模式部署

Two Server模式就是把Azkaban和MySQL进行了分离，下面就介绍一下这种部署模式。java

一、准备工做

1．结点规划

node1：azkaban-web、azkaban-execnode

node2：MySQLmysql

这里本人将azkaban的相关服务放置到一台服务器中，将MySQL放置到另一台服务器中。web

2．服务器准备

两台服务器，服务器系统这里选择的是CentOS7。一台称之为node一、另一台称之为node2。sql

  • 主机名称修改：根据本身的需求修改。
  • 添加主机名解析：
  • 免密登陆：为了不麻烦的操做，这里本人配置了免密登陆。主机中若是安装了hadoop等大数据相关的软件，那么确定已经配置过了。
  • 两台服务器都安装jdk，jdk版本1.8以上。
  • 编译源码，参见：Azkaban源码编译，此处使用的是Azkaban-3.66.0版本。
  • node2中安装MySQL，此处忽略安装MySQL的过程。详情参见：Linux中安装MySQL

二、MySQL相关操做

1．拷贝建表文件

在node2上建立一个放置建表文件的目录：数据库

mkdir –p /home/script/azkabansql

到编译的目录中，将编译好的文件远程拷贝到目标主机：vim

cd /opt/azkaban/azkaban/azkaban-db/build/distributions/
scp azkaban-db-3.66.0-6-ge20c886.tar.gz root@node2:/home/script/azkabansql/

到node2上解压文件浏览器

cd /home/script/azkabansql
tar -zxvf azkaban-db-3.66.0-6-ge20c886.tar.gz

以上为解压出来的文件，这里须要使用的就是红框框起来的sql文件。bash

2．建库

在存放建表语句文件的目录下登陆MySQL，若是不在此目录的话，建表文件使用很是麻烦。服务器

mysql –u root –p
create database azkaban66;
use azkaban66

本人的数据库中已经有一个azkaban的数据库在使用了，这里本人建立了一个新的数据库，以azkaban的版本号结尾，数据库的名字可按需建立。

3．建立用户

这一步能够省略，你可使用原有的root帐户进行数据库的操做。

create user ‘azkaban’@’%’ identified by ‘azkaban’;

前一个azkaban是用户名，后一个azkaban是密码。

4．设置权限

给用户赋予权限

grant select,insert,update,delete on azkaban66.* to ‘azkaban’@’%’ with grant option;
flush privileges ;

5．建表

执行如下文件，进行建表：

source azkaban-db-3.66.0-6-ge20c886/create-all-sql-3.66.0-6-ge20c886.sql

若是不是在当前目录下进入MySQL的话，可使用绝对路径来进行文件导入。

下图为数据库中创建的表：

6．修改字符集

若是若是想要使azkaban在建立项目的时候description支持中文输入，那么这里就须要更改一个表的一个字段的字符集便可。

须要修改的表为projects表。

使用数据库链接工具Navicat for MySQL，链接到库，右键projects表，选择设计表，出现以下图的界面：

选中字段，修改字符集为utf8，而后保存便可。

7．修改上传文件限制

有的时候，会上传的文件过大，超过MySQL接收的默认最大值，这里能够修改一下MySQL的默认最大值。

vim /etc/my.cnf

max_allowed_packet=1024M

修改完成以后，重启数据库。

三、拷贝文件

将编译好的文件拷贝到node2中规划的目录里去：

cd opt/azkaban/azkaban/azkaban-web-server/build/distributions/
cp azkaban-exec-server-3.66.0-6-ge20c886.tar.gz /opt/azkaban/
cd opt/azkaban/azkaban/azkaban-exec-server/build/distributions/
cp azkaban-web-server-3.66.0-6-ge20c886.tar.gz /opt/azkaban/
# 解压
cd /opt/azkaban/
tar -zxvf azkaban-web-server-3.66.0-6-ge20c886.tar.gz
tar -zxvf azkaban-exec-server-3.66.0-6-ge20c886.tar.gz

解压以后，web下的文件夹列表以下：

exec下的文件夹列表以下：

官方网站上提示：

  • web解压以后有以下几个目录：bin、conf、lib、web
  • exec解压以后有以下几个目录：bin、conf、lib、extlib、plugins

因此如今只有exec目录下少了一个文件。

四、配置exec

官方的文档顺序，是先配置的exec，这里也先从exec开始配置。

进入exec的conf目录中，能够看到有以下三个个文件：

其中global.properties是一个空的文件。

1．azkaban.properties

编辑此文件，命令以下：

vim azkaban.properties

文件的原始内容，以下图：

由官方文档得知，exec能够配置两大项内容：

  • 第一项是执行器服务器属性。
  • 第二项是MySQL链接属性。

下面开始配置，可将原来的文件中，不须要的属性注释掉，或者将原始文件更名复制一份，再进行修改。

# Azkaban Personalization Settings
# 能够将其余的属性注释掉或者删除，这里只配置时区这一项
default.timezone.id=Asia/Shanghai

# Azkaban UserManager class
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
# mail settings
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
# 这里添加一个端口配置
executor.port=12321
azkaban.execution.dir=executions

# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=MySQL的ip地址
mysql.database=azkaban66
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

2．log4j.properties

打开此文件，文件中已经配置好了

3．启动

在exec的home目录下执行如下目录，启动exec服务：

bin/start-exec.sh

启动以后，home目录下的文件变为以下：

4．激活执行器

激活执行器有一个明显的地方能够看到，在数据库中executors表中，你能够查看当前服务器的active字段，没有激活的时候是0，激活以后是1。

若是不激活，那么在启动web的时候执行任务会报出找不到执行器的错误。

启动exec服务器以后，在exec服务器的home目录中当即执行以下命令，激活执行器：

curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo

以下图：

通过后续的测试发现，每次重启exec服务器，都须要激活。

五、配置Web

1．生成keystore文件

进入web的目录，执行以下命令：

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

此命令是固定的，不须要更改什么。以下是执行过程：

[root@node1 azkaban-web-server-3.66.0-6-ge20c886]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
Enter keystore password: #密码
Re-enter new password: #密码
What is your first and last name?
  [Unknown]:  
What is the name of your organizational unit?
  [Unknown]:  
What is the name of your organization?
  [Unknown]:  
What is the name of your City or Locality?
  [Unknown]:  
What is the name of your State or Province?
  [Unknown]:  
What is the two-letter country code for this unit?
  [Unknown]:  
Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown correct?
  [no]:  y

Enter key password for <jetty>
	(RETURN if same as keystore password): #密码
Re-enter new password: #密码

此时在看web目录之下，多了一个keystore文件。

若是是在别的目录之下进行的这个命令操做，在相应的目录下会有这个文件，只要将这个文件拷贝到web目录下便可。

2．azkaban.properties

此文件在conf目录下：

cd conf/

由上图能够看到，conf目录下存在四个文件。

cp azkaban.properties azkban.properties.model #复制一份，以避免出错
vim azkaban.properties

以下图，为原始的azkaban.properties文件中的内容：

下面进行内容修改：

# Azkaban Personalization Settings
azkaban.name=#按规划填写
azkaban.label=#按规划填写
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/opt/azkaban/azkaban-web-server-3.66.0-6-ge20c886/web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/opt/azkaban/azkaban-web-server-3.66.0-6-ge20c886/conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.port=8081
jetty.ssl.port=8443
jetty.keystore=keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=keystore
jetty.trustpassword=azkaban
# Project Manager settings
project.temp.dir=/temp
project.version.retention=3
# Azkaban Executor settings
executor.port=12321
# mail settings
mail.sender=xxxxx@xxx.xx
mail.host=smtp.263.net
mail.user=xxxx@xxx.xx
mail.password=*********
# 如下两项能够不填
job.failure.email=
job.success.email=

lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes

# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=ip地址
mysql.database=azkaban66
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1

在web的home目录下建立文件plugins/jobtypes，命令以下：

midir –p plugins/jobtypes

3．azkaban-users.xml

添加azkaban的用户，在此文件中操做，文件原始内容以下图：

若是要添加用户，就按照<user/>的格式添加便可。

4．log4j.properties

此文件和exec中的内容是同样的。

六、web配置的坑

1．第一坑

  • web.resource.dir项的值要使用绝对路径，不然web页面会没有美丽的界面。
  • user.manager.xml.file项的值要使用绝对路径，不然启动的时候会报找不到文件的错误。

2．第二坑：邮箱预警的坑

mail.sender、mail.host、mail.user、mail.password这四项每一项配置都不能少，端口能够不配置，并且mail.sender和mail.user的值是同样的，少一项或者配错一项都会报出错误，错误信息以下：

2018/12/28 15:56:01.187 +0800 ERROR [EmailMessage] [Azkaban] Connecting to SMTP server failed, attempt: 0
javax.mail.AuthenticationFailedException: 500 Error: bad syntax

        at com.sun.mail.smtp.SMTPTransport$Authenticator.authenticate(SMTPTransport.java:823)
        at com.sun.mail.smtp.SMTPTransport.authenticate(SMTPTransport.java:756)
        at com.sun.mail.smtp.SMTPTransport.protocolConnect(SMTPTransport.java:673)
        at javax.mail.Service.connect(Service.java:295)
        at azkaban.utils.JavaxMailSender.connect(JavaxMailSender.java:34)
        at azkaban.utils.EmailMessage.connectToSMTPServer(EmailMessage.java:220)
        at azkaban.utils.EmailMessage.retryConnectToSMTPServer(EmailMessage.java:230)
        at azkaban.utils.EmailMessage.sendEmail(EmailMessage.java:213)
        at azkaban.utils.Emailer.sendEmail(Emailer.java:220)
        at azkaban.utils.Emailer.alertOnSuccess(Emailer.java:153)
        at azkaban.executor.selector.ExecutionControllerUtils.alertUser(ExecutionControllerUtils.java:123)
        at azkaban.executor.ExecutionFinalizer.finalizeFlow(ExecutionFinalizer.java:98)
        at azkaban.executor.RunningExecutionsUpdater.updateExecutions(RunningExecutionsUpdater.java:131)
        at azkaban.executor.RunningExecutionsUpdaterThread.run(RunningExecutionsUpdaterThread.java:54)

在网上看到一个说这个错误信息解决方法的，要改源码，实际上是配置信息写错了。

3．第三坑

azkaban.jobtype.plugin.dir=plugins/jobtypes这一项必定要配置，而且建立文件夹，否则会报错，错误信息以下：

2018/12/28 15:50:30.898 +0800 ERROR [FlowTriggerScheduler] [Azkaban] unable to get scheduled flow triggers
java.lang.NullPointerException
        at azkaban.flowtrigger.quartz.FlowTriggerScheduler.getScheduledFlowTriggerJobs(FlowTriggerScheduler.java:132)
        at azkaban.webapp.servlet.FlowTriggerServlet.handlePage(FlowTriggerServlet.java:140)
        at azkaban.webapp.servlet.FlowTriggerServlet.handleGet(FlowTriggerServlet.java:55)
        at azkaban.webapp.servlet.LoginAbstractAzkabanServlet.doGet(LoginAbstractAzkabanServlet.java:123)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:668)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:770)
        at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511)
        at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:401)
        at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182)
        at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766)
        at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)
        at org.mortbay.jetty.Server.handle(Server.java:326)
        at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542)
        at org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928)
        at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549)
        at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212)
        at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404)
        at org.mortbay.jetty.bio.SocketConnector$Connection.run(SocketConnector.java:228)
        at org.mortbay.jetty.security.SslSocketConnector$SslConnection.run(SslSocketConnector.java:713)
        at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)

4．第四坑

Multiple Executor的几项必须配置，否则的话会报出如下错误：

2018/12/28 15:43:28.406 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"
2018/12/28 15:43:28.406 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.IllegalArgumentException: azkaban.use.multiple.executors must be true. Single executor mode is not supported any more.
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.checkMultiExecutorMode(ExecutorManager.java:240)
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.setupExecutors(ExecutorManager.java:229)
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:155)
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.start(ExecutorManager.java:168)
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:235)
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:226)

5．第五坑：CDH集成

若是使用的是CDH平台安装的hadoop相关的软件，那么在启动Azkaban的时候日志第一行会出现以下的错误信息：

Error: HADOOP_HOME is not set. Hadoop job types will not run properly.

这个错误不影响Azkaban正常的执行hadoop相关的脚本。

这是由于CDH平台集成的Hadoop没有在profile中添加环境变量，这里须要在profile文件中添加两个环境变量。操做以下：

vim /etc/profile

要添加的内容以下：

export HADOOP_HOME=/opt/cloudera/parcels/CDH
export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn

添加完成source，让文件生效。

source /etc/profile

以上两条变量的值是CDH的目录，填写的时候，查看一下，本身的CDH安装是不是这两个目录，若是不是，值要根据本身的目录进行修改。

而后重启Azkaban web，日志中的错误消失，取代是以下内容：

Using Hadoop from /opt/cloudera/parcels/CDH

七、启动web

启动命令以下：

bin/start-web.sh

八、登陆检测

在浏览器中输入：ip:8443，会出现以下图的登陆界面：

由上图能够看出，红块的地方是填写的azkaban.name和azkaban.labe两项的值，这里本人打了码，配置完成大家便可看到本身的成果。

九、job测试

如下是本人准备的一个简答的脚本的job文件，weather.job：

type=command
command=/usr/java/default/jdk/bin/java -jar /home/script/Weather.jar
failure.emails=xxx@xxx.xx
success.emails=xxx@xxx.xx

上面两项邮箱相关的，一项是执行成功发送邮件，一项是执行失败发送邮件。邮箱自行填写。若是这里不填写邮箱，那么就不会给你发送执行结果。

将文件打成zip的压缩包上传到测试项目中，选择执行。

执行成功，也有邮件发送。

以上为整个Two Server模式配置的整个过程和踩过的坑。

上一篇：Azkaban Solo Server模式部署

下一遍：

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程