03-azkaban安装部署

Posted 2021-03-22 zhaoxj127

00-前言

初步撰写了azkaban  Multi Executor Server 模式的部署说明，只是在单一节点上同时部署了web以及excutor。多excutor的情况可能会稍有不一样，待完善

01-环境介绍

1.基础环境介绍

CentOS7

azkaban 3.81.0

jdk 8

注意：需要提前在集群所有节点配置好NTP服务

可以单独创建一个linux用户azkaban专门用来安装azkaban

2.安装模式

Multi Executor Server

 

02-配置元数据库

1.在mysql中创建数据库

1 mysql> CREATE DATABASE azkaban;

2.创建azkaban用户并赋权

1 # Example database creation command. The user name doesn‘t need to be ‘azkaban‘
2 mysql> CREATE USER ‘username‘@‘%‘ IDENTIFIED BY ‘password‘;
3 # give the user INSERT, SELECT, UPDATE, DELETE permission on all tables in the Azkaban db.
4 mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to ‘<username>‘@‘%‘ WITH GRANT OPTION;

3.执行建表语句

注意：脚本在azkaban-db-0.1.0-SNAPSHOT.tar.gz 中

1 mysql > source create-all-sql-0.1.0-SNAPSHOT.sql

 

4.修改MySQL配置

1 [mysqld]
2 ...
3 max_allowed_packet=1024M

03-安装并配置Azkaban Web Server

1.解压tar包

 

2.配置SSL【如果需要限定使用HTTPS访问，则配置】

azkaban web可以使用HTTPS，也可以使用HTTP的方式访问

1）说明

Keytool是java数据证书的管理工具，使用户能够管理自己的公/私钥对以及相关证书。系统一般自带，没有使用yum通过系统光盘安装即可

-keystore 指定密钥库的名称以及位置（产生的各类信息将存在keystore文件中）

-genkey（或者genkeypair） 生成密钥对

-alias 为生成的密钥指定别名，如果没有默认是mykey

-keyalg 指定密钥算法 RSA/DSA 默认是DSA

2）生成密钥对和证书

在web server所在的节点执行如下命令，生成密钥对和证书

1 keytool -genkey -keystore /opt/azkaban/azkaban-web-server-0.1.0-SNAPSHOT/keystore -alias jetty  -keyalg RSA 

设置密码，以及输入一些没什么用的公司名称等信息

 

会在指定的目录下生成keystore

 

 

 可以通过如下命令查看keystore中的信息

1 keytool -list -keystore /opt/azkaban/azkaban-web-server-0.1.0-SNAPSHOT/keystore

 

3.修改配置文件

1）配置azkaban.properties

 1 # Azkaban Personalization Settings
 2 azkaban.name=Test
 3 azkaban.label=My Local Azkaban
 4 azkaban.color=#FF3601
 5 azkaban.default.servlet.path=/index
 6 #需要修改为绝对路径，该目录是存储web的所有内容
 7 #这里最好是配置系统环境变量，然后使用环境变量来配置相关路径
 8 #web.resource.dir=web/
 9 web.resource.dir=/home/azkaban/opt/azkaban/azkaban-web-server-0.1.0-SNAPSHOT/web
10 #需要修改时区，默认是美国，需要改成亚洲/上海
11 #default.timezone.id=America/Los_Angeles
12 default.timezone.id=Asia/Shanghai
13 
14 # Azkaban UserManager class
15 #这个是不安全的用户管理类，生产环境需要使用其他第三方的用户管理类
16 user.manager.class=azkaban.user.XmlUserManager
17 #改为绝对路径
18 user.manager.xml.file=/home/azkaban/opt/azkaban/azkaban-web-server-0.1.0-SNAPSHOT/conf/azkaban-users.xml
19 
20 # Loader for projects
21 #改为绝对路径
22 executor.global.properties=/home/azkaban/opt/azkaban/azkaban-web-server-0.1.0-SNAPSHOT/conf/global.properties
23 azkaban.project.dir=projects
24 
25 # Velocity dev mode
26 velocity.dev.mode=false
27 
28 # Azkaban Jetty server properties.
29 #我这里即配置了HTTP连接的以及HTTPS连接的参数，通过jetty.use.ssl设置是否使用HTTPS访问当时。可以不启用。
30 jetty.use.ssl=false
31 jetty.maxThreads=25
32 jetty.port=8081
33 jetty.keystore=/home/azkaban/opt/azkaban/azkaban-web-server-0.1.0-SNAPSHOT/keystore
34 #keystore库的密码
35 jetty.password=azkaban
36 #密钥对的密码
37 jetty.keypassword=azkaban
38 #这个是用来服务器判断客户端是否可以被信任
39 #暂时配置成服务器的keystore也可以
40 jetty.truststore=/home/azkaban/opt/azkaban/azkaban-web-server-0.1.0-SNAPSHOT/keystore
41 jetty.trustpassword=azkaban
42 jetty.ssl.port=8443
43 
44 # Azkaban Executor settings
45 # mail settings
46 #关于邮件提醒的一些配置
47 mail.sender=
48 mail.host=
49 # User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
50 # enduser -> myazkabanhost:443 -> proxy -> localhost:8081
51 # when this parameters set then these parameters are used to generate email links.
52 # if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
53 # azkaban.webserver.external_hostname=myazkabanhost.com
54 # azkaban.webserver.external_ssl_port=443
55 # azkaban.webserver.external_port=8081
56 #关于邮件提醒的一些配置
57 job.failure.email=
58 job.success.email=
59 lockdown.create.projects=false
60 cache.directory=cache
61 # JMX stats
62 jetty.connector.stats=true
63 executor.connector.stats=true
64 # Azkaban mysql settings by default. Users should configure their own username and password.
65 
66 #修改数据库信息
67 database.type=mysql
68 mysql.port=3306
69 mysql.host=132.35.231.131
70 mysql.database=azkaban
71 mysql.user=azkaban
72 mysql.password=azkaban
73 mysql.numconnections=100
74 
75 #Multiple Executor
76 azkaban.use.multiple.executors=true
77 azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
78 azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
79 azkaban.executorselector.comparator.Memory=1
80 azkaban.executorselector.comparator.LastDispatched=1
81 azkaban.executorselector.comparator.CpuUsage=1

 

2）配置azkaban-users.xml

 配置用户及权限

1 <azkaban-users>
2   <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
3   <user password="metrics" roles="metrics" username="metrics"/>
4 
5   <role name="admin" permissions="ADMIN"/>
6   <role name="metrics" permissions="METRICS"/>
7 </azkaban-users>

View Code

 这里提供了一个默认的用户azkaban

04-安装并配置Azkaban Executor Server

1.解压tar包

 

2.修改配置文件

1）修改azkaban.properties

 1 # Azkaban Personalization Settings
 2 #azkaban.name=Test
 3 #azkaban.label=My Local Azkaban
 4 #azkaban.color=#FF3601
 5 #azkaban.default.servlet.path=/index
 6 #web.resource.dir=web/
 7 #**************修改时区******************
 8 default.timezone.id=Asia/Shanghai
 9 # Azkaban UserManager class
10 #user.manager.class=azkaban.user.XmlUserManager
11 #user.manager.xml.file=conf/azkaban-users.xml
12 
13 # Loader for projects
14 #**************修改为绝对路径**************
15 executor.global.properties=/home/azkaban/opt/azkaban/azkaban-exec-server-0.1.0-SNAPSHOT/conf/global.properties
16 azkaban.project.dir=projects
17 
18 # Velocity dev mode
19 #velocity.dev.mode=false
20 # Azkaban Jetty server properties.
21 #jetty.use.ssl=false
22 #jetty.maxThreads=25
23 #jetty.port=8081
24 
25 # Where the Azkaban web server is located
26 #azkaban.webserver.url=http://localhost:8081
27 # mail settings
28 #mail.sender=
29 #mail.host=
30 # User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
31 # enduser -> myazkabanhost:443 -> proxy -> localhost:8081
32 # when this parameters set then these parameters are used to generate email links.
33 # if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
34 # azkaban.webserver.external_hostname=myazkabanhost.com
35 # azkaban.webserver.external_ssl_port=443
36 # azkaban.webserver.external_port=8081
37 #job.failure.email=
38 #job.success.email=
39 #lockdown.create.projects=false
40 #cache.directory=cache
41 # JMX stats
42 #jetty.connector.stats=true
43 #executor.connector.stats=true
44 # Azkaban plugin settings
45 #**************建议也修改为绝对路径**************
46 azkaban.jobtype.plugin.dir=plugins/jobtypes
47 # Azkaban mysql settings by default. Users should configure their own username and password.
48 #**************配置数据库连接**************
49 database.type=mysql
50 mysql.port=3306
51 mysql.host=132.35.231.131
52 mysql.database=azkaban
53 mysql.user=azkaban
54 mysql.password=azkaban
55 mysql.numconnections=100
56 # Azkaban Executor settings
57 #**************配置excutor的一些参数**************
58 executor.maxThreads=50
59 executor.flow.threads=30
60 executor.port=12321

 

05-启动web以及excutor

1.注意

1）web与excutor是通过元数据库里存储的信息来相互识别的，不需要在配置文件里配置对应的IP

2）需要先启动excutor并且在元数据库中，将excutor状态设置为活动

 

 2.启动excutor

1)一定要在/home/azkaban/opt/azkaban/azkaban-exec-server-0.1.0-SNAPSHOT目录下执行 ./bin/start-exec.sh

会在当前目录生成启动日志

 2）一定要在/home/azkaban/opt/azkaban/azkaban-web-server-0.1.0-SNAPSHOT 目录下执行 ./bin/start-web.sh

会在当前目录生成启动日志

 

 

 

06-可能遇到的问题

1.启动excutor或者web，启动日志中提示 can‘ t start up :  not enough memory

原因：主机环境中Java版本过低

解决方案：将当前用户的Java替换为1.8或者以上的版本即可

 

2.启动web时提示没有活动的executor

azkaban.executor.ExecutorManagerException: No active executors found

 

 

 原因：元数据库中，没有active =1 的executor记录

解决方案：手动在元数据库中修改executor状态