200字
Azkaban 集群部署
2023-11-11
2024-04-11

需要提前部署 MySQL 并启动

1、解压Azkaban


mkdir /opt/module/azkaban-3.84.4

cd /opt/software
tar -zxvf azkaban-db-3.84.4.tar.gz
tar -zxvf azkaban-exec-server-3.84.4.tar.gz
tar -zxvf azkaban-web-server-3.84.4.tar.gz

mv azkaban-db-3.84.4 /opt/module/azkaban-3.84.4/azkaban-db
mv azkaban-exec-server-3.84.4 /opt/module/azkaban-3.84.4/azkaban-exec
mv azkaban-web-server-3.84.4 /opt/module/azkaban-3.84.4/azkaban-web

2、数据库操作


# 1.登录mysql
mysql -u root -p

# 2.创建azkaban数据库
create database azkaban;

# 3.创建Azkaban表
use azkaban; 
source /opt/module/azkaban-3.84.4/azkaban-db/create-all-sql-3.84.4.sql

# 4.退出
quit;

3、更改 MySQL 包大小


vim /etc/my.cnf

# 在[mysqld]下面加入以下一行
max_allowed_packet=1024M

systemctl restart mysqld

4、配置Executor Server


vim /opt/module/azkaban-3.84.4/azkaban-exec/conf/azkaban.properties

# 添加以下属性
executor.port=12321

# 修改以下属性
default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://master:8081
mysql.host=master
mysql.user=root
mysql.password=your_password

5、分发


scp -r /opt/module/azkaban-3.84.4/ slave1:/opt/module/
scp -r /opt/module/azkaban-3.84.4/ slave2:/opt/module/

6、启动服务


# 三台节点启动
cd /opt/module/azkaban-3.84.4/azkaban-exec

bin/start-exec.sh

# 三台节点激活
curl -G "master:12321/executor?action=activate" && echo
curl -G "slave1:12321/executor?action=activate" && echo

{"status":"success"} # 出现表示成功

7、配置Web Server


vim /opt/module/azkaban-3.84.4/azkaban-web/conf/azkaban.properties

default.timezone.id=Asia/Shanghai
mysql.host=master
mysql.user=root
mysql.password=your_password
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
vim /opt/module/azkaban-3.84.4/azkaban-web/conf/azkaban-users.xml

# 添加用户
 <user password="你的密码" roles="admin" username="你的用户名"/>

8、启动Web


cd /opt/module/azkaban-3.84.4/azkaban-web

bin/start-web.sh

9、访问地址


master:8081

Azkaban 集群部署
作者
Administrator
发表于
2023-11-11
License
CC BY-NC-SA 4.0

评论