大数据学习——azkaban工作流调度系统

azkaban的安装部署

 在/root/apps

1目录下新建azkaban文件夹

上传安装包到azkaban

2解压

tar -zxvf  azkaban-web-server-2.5.0.tar.gz

3删掉安装包

[root@mini1 azkaban]# rm -rf azkaban-executor-server-2.5.0.tar.gz
[root@mini1 azkaban]# rm -rf azkaban-sql-script-2.5.0.tar.gz
[root@mini1 azkaban]# rm -rf azkaban-web-server-2.5.0.tar.gz

4重命名

mv  azkaban-web-2.5.0 server 
mv  azkaban-executor-2.5.0 executor

5修改配置文件

登录mysql数据库

[root@mini1 ~]# mysql -u root -p
Enter password: 

创建azkaban数据库;

drop database azkaban;
create database azkaban;
use azkaban;

修改conf下的azkaban.properties

修改时区为亚洲上海

注:先配置好服务器节点上的时区

1、先生成时区配置文件Asia/Shanghai,用交互式命令 tzselect 即可

2、拷贝该时区文件,覆盖系统本地时区配置

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 

创建SSL

keytool -keystore keystore -alias jetty -genkey -keyalg RSA
输入keystore密码: hadoop
再次输入新密码:
您的名字与姓氏是什么?
cui
您的组织单位名称是什么?
fengmin
您的组织名称是什么?
java
您所在的城市或区域名称是什么?
shanghai
您所在的州或省份名称是什么?
shanghai
该单位的两字母国家代码是什么
CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗?
  [否]:  y
 
输入<jetty>的主密码 hadoop
        (如果和 keystore 密码相同,按回车): 
再次输入新密码: hadoop
完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver

 继续修改azkaban.properties

 vi azkaban.properties

保存退出

修改 executor

cd executor

cd conf

vi azkaban.properties

修改server的 conf的 azkaban-users.xml

[root@mini1 conf]# vi  azkaban-users.xml

启动

[root@mini1 server]# bin/azkaban-web-start.sh
[root@mini1 executor]# bin/azkaban-executor-start.sh

浏览器访问

https://mini1:8443/

admin

admin

 

azkaban界面元素菜单说明

1、projects:azkaban最重要的一部分,创建一个工程,将所有的工作流放在工程中执行

2、scheduling:定时调度任务用的

3、executing:  显示当前运行的任务

4、History : 显示历史运行任务

一个project由3个按钮:

1、Flows:一个工作流,由多个job组成

2、Permissions:权限管理

3、Project Logs:工程日志信息

猜你喜欢

转载自www.cnblogs.com/feifeicui/p/10311651.html