azkaban安装Solo Server

azkaban安装 Solo Server

azkaban 3.57.0 编译
1、下载源码包 官网地址为:https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz
清空编译
结果如下：

[root@hadoop01 home]# tar -zxvf /home/azkaban-3.57.0.tar.gz -C /usr/local
[root@hadoop01 home]# cd ./azkaban-3.57.0
[root@hadoop01 azkaban-3.57.0]# ./gradlew clean 

编译并安装插件

结果如下：速度可能很慢！！！（我的一个小时）

root@hadoop01 azkaban-3.57.0]# ./gradlew installDist

编译但不运行测试

root@hadoop01 home]# ./gradlew build -x test

编译结果如下：

编译成功后，在目录下{azkaban-solo-server、azkaban-web-server、azkaban-execserver}/build/distributions目录下都会生成相应的压缩包

[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-execserver/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0
[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-soloserver/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0
[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-webserver/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0
[root@hadoop01 azkaban-3.57.0]# cp ./azkaban-db/build/distributions/azkaban-db0.1.0-SNAPSHOT.tar.gz /usr/local/azkaban3.57.0

编译过程中，如有错误，需要再次运行编译命令。
编译过程中，如果包不能下载，则可以考虑手动下载放到服务器对应的位置即可。

Solo Server安装

1、Solo Server简介
这种Solo Server服务是azkaban的单机版，即是单实例，它安装简单，便于学习。他的优点如下： 安装简单:不需要msql实例，它内置h2来做存储。 启动简单：web server和executor server都运行在相同进程中。 功能齐全：它包含所有azkaban的特征。你可以使用azkaban用这种通用方法并为其安装插件。

2、安装

[root@hadoop01 azkaban3.57.0]# mkdir /usr/local/azkaban
[root@hadoop01 azkaban3.57.0]# tar -zxvf /usr/local/azkaban3.57.0/azkaban-soloserver-0.1.0-SNAPSHOT.tar.gz -C /usr/local/azkaban
[root@hadoop01 azkaban3.57.0]# cd /usr/local/azkaban/ 
[root@hadoop01 azkaban]# mv ./azkaban-solo-server-0.1.0-SNAPSHOT/ ./soloserver
[root@hadoop01 azkaban]# cd ./soloserver/

3、配置用户

[root@hadoop01 soloserver]# vi ./conf/azkaban-users.xml 在第4行添加内容如下： <user password="admin" roles="metrics,admin" username="admin"/>

soloserver的安装配置完成。

测试
启动(注意在soloserver的目录下启动)，如果服务未启动，可在启动目录下查看日志信息

[root@hadoop01 soloserver]# ./bin/start-solo.sh

2、测试启动是否成功
浏览器访问http://hadoop01:8081/:
点击登录如下：user:admin p:admin

3.创建项目

4、停止服务

[root@hadoop01 soloserver]#./bin/shutdown-solo.sh

azkaban的command job案例

1、创建job(一定要注意编码！！)

type=command                                                    
command=echo 'hello_azkaban'

2、将job打包zip并上传

3、运行job
然后exexute—>continue.即可执行。

4、查看结果

Azkanban的shell脚本调度案例

1、创建一个shell文件(注意编码)

文件名azshell.sh，内容如下:
#!/bin/bash echo hello_azkaban >> /home/log/az.log

2、创建job(注意编码)

type=command command=/bin/bash azshell.s

3、打包job(一定要将azshell.sh和azshell.job打包进来)

4、上传压缩包并执行
查看结果

azkaban的mapreduce的案

1、创建job(注意编码)

type=command                                                     command=/usr/local/hadoop-2.7.1/bin/yarn jar hadoop-mapreduce-examples-2.7.1.jar wordcount /words /out/az00

2、将job打包zip并上传
3、运行
4、查看结果

azkabn的依赖案例

1、创建jobB(注意编码)

#!/bin/bash 
echo hello_bbb >/home/log/b.log sleep 66s
type=command 
command=/bin/bash b.sh

2、创建jobA,并且jobA依赖jobB(注意编码)

#!/bin/bash echo hello_aaa >/home/log/a.log
type=command 
dependencies=jobB 
command=/bin/bash a.sh

将job打包zip并上传

[外链图片转存失败(img-JVGWnSao-1569415366425)(1569415311472.png)]
3、运行job
然后exexute—>continue.即可执行。
4、查看结果