大数据任务调度工具azkaban安装的相关文档

Posted gxgd

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据任务调度工具azkaban安装的相关文档相关的知识,希望对你有一定的参考价值。

区配置:

1.查看时区

 技术分享图片

2 .修改时区

技术分享图片

3 安装mysql

 下载MySQL数据脚本(如下有安装MySQL服务可以忽略)

 技术分享图片

下载然后解压;tar -zxvf azkaban-sql-script-2.5.0.tar.gz

技术分享图片

创建用户、分配权限并执行脚本

    mysql –u root –pxxxx

创建数据库: CREATE DATABASE azkaban;
创建好数据库然后退出。
然后将sql-script文件中的create-all-sql-2.5.0.sql中的数据表创建在刚创建好的azkaban 数据库当中。
使用命令:mysql –u root –pxxxx -Dazkaban < /绝对路径/create-all-sql-2.5.0.sql
登录mysql数据库。mysql –u root –pxxx  查看存在的表。
技术分享图片
注意:这里我们使用的root用户创建的数据库。在生产上我们是单独的创建一个用户,方便管理使用;
还需注意,在azkaban2.5以后不需要自己在引入mysql的驱动包。在lib目录下面存在驱动包。
创建用户名:CREATE USER ‘azkaban‘@‘%‘ IDENTIFIED BY ‘azkaban‘
分配权限:GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,INDEX ON `azkaban`.* TO ‘azkaban‘@‘%‘ WITH GRANT OPTION;
flush privileges;
quit;
通过azkaban账号登录mysql:mysql –uazkaban –pazkaban
Use azkaban;
source ~/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql

4 Azkaban Web Server 安装

   1 下载安装azkaban-web-server-2.5.0.tar.gz

     解压tar包。目录如下

技术分享图片

 2 生成SSL 证书

因为azkaban是加密传输,因此要配置ssl 服务。方便网路传输。
关于怎么使用 Java keytool 生成 keystore 文件 在这里可以只简单的生成 keystore 文件,并将生成的 keystore 文件拷贝至 ~/azkaban-web-2.5.0/web 文件下。

keytool -keystore keystore -alias jetty -genkey -keyalg RSA
技术分享图片

3 修改 ./conf/azkaban.properties

3 修改 ./conf/azkaban.properties

 

修改首页样式及时区信息
azkaban.name=Job Tasks     
azkaban.label=mysteel workflow
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
技术分享图片
修改mysql连接,可自行修改
database.type=mysql
mysql.port=3306
mysql.host=192.168.200.184
mysql.database=azkaban
mysql.user=azkaban     
mysql.password=azkaban
mysql.numconnections=100
技术分享图片
修改 Jetty 服务器属性,包括 keystore 的相关配置
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore   最好设置为绝对路劲,防止加载不到
jetty.password=mysteel
jetty.keypassword= mysteel
jetty.truststore=keystore   最好设置为绝对路劲,防止加载不到
jetty.trustpassword= mysteel
技术分享图片
修改邮件设置(可选)
[email protected]
               mail.host=smtp.126.com
               mail.user= [email protected]
mail.password=xxx (注:发送邮箱的密码)

  5.用户及权限配置
进入 azkaban web 服务器 conf 目录,修改 azkaban-users.xml ,增加管理员用户:
< azkaban-users>
   < user username="azkaban" password="azkaban" roles="admin"  groups="azkaban" />
   < user username="metrics" password="metrics" roles="metrics"/>
   < user username="admin" password="admin" roles="admin,metrics" />
   < role name="admin" permissions="ADMIN" />
   < role name="metrics" permissions="METRICS"/>< /azkaban-users>
技术分享图片
Azkaban Executor Server安装
1.下载安装包
azkaban-executor-server-2.5.0.tar.gz
解压到相对应的文件目录下面。
tar –zxvf  azkaban-executor-server-2.5.0.tar.gz  –C  ~/azkaban/
2.修改配置文件 (conf/azkaban.propreties)
修改时区信息
default.timezone.id=Asia/Shanghai
修改mysql连接,可自行修改
database.type=mysql
mysql.port=3306
mysql.host=192.168.200.184
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

技术分享图片
配置端口,默认就好
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30
技术分享图片
在web server 的azkaban.properties配置executor的连接,特别注意,如果两个server不是在一台主机上,web server 需要配置executor.host
# Azkaban Executor settings
executor.port=12321
executor.host=ip/hostname
技术分享图片
启动验证
启动web server
~/azkaban/azkaban-web-2.5.0/bin/azkaban-web-start.sh(azkaban-web-shutdown.sh停止)
 访问 https://ip:8443   
登录用户名称和密码是上面xml 文件中的用户名称和密码,也可自行配置。
技术分享图片

技术分享图片

 

出现界面安装成功
启动 executor server
~/azkaban/azkaban-executor-2.5.0/bin/azkaban-exec-start.sh(azkaban-executor-shutdown.sh 停止
技术分享图片
至此azkaban安装完成。





 





以上是关于大数据任务调度工具azkaban安装的相关文档的主要内容,如果未能解决你的问题,请参考以下文章

Azkaban 简介

大数据开发:Azkaban和Oozie调度系统对比

大数据相关开源项目汇总

任务调度工具oozie和azkaban的对比

Azkaban 简介

工作流调度器azkaban的安装和使用