centos7下azkaban的安装部署

版权声明:1911907658 https://blog.csdn.net/qq_33598343/article/details/84672294

Azkaban概述

Azkaban是一个分布式工作流管理器,在LinkedIn上实现,以解决Hadoop作业依赖性问题。我们
有需要按顺序运行的工作,从ETL工作到数据分析产品。


按我理解,其实就是提供一个友好的web界面,我们可以设定好一些指定的定时任务,可以是按顺序的多个任务,非常好用,上传任务要上传压缩包zip


特点:
1)给用户提供了一个非常友好的可视化界面->web界面
2)非常方便的上传工作流-》打成压缩包
3)设置任务间的关系
4)权限设置-》删库到跑路
5)模块化
6)随时停止和启动任务
7)可以查看日志记录

与Oozie对比

和Oozie相对比,azkaban是一个轻量级调度工具。
企业应用的功能并非小众的功能可以使用Azkaban。

1)功能
两个任务流调度器可以调度使用mr,java,脚本工作流任务
都可以进行定时调度…

2)使用
az直接传参
Oozie直接传参,支持EL表达式…

3)定时
az定时执行任务基于时间
Oozie任务基于时间和数据

4)资源
az有严格的权限控制
Oozie无严格权限控制

Azkaban的安装部署

1)拍个虚拟机快照
2)上传安装包
1.azkaban-executor-server-2.5.0.tar.gz ->解压mv成executor方便操作
2.azkaban-sql-script-2.5.0.tar.gz
3.azkaban-web-server-2.5.0.tar.gz ->解压mv成server

(mysql驱动)mysql-libs.zip

3**)解压**
/opt/azkaban/

4)mysql中azkaban脚本导入
source /root/hd/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql

5)创建SSL(安全连接)配置
服务器需要一个证书
keytool -keystore keystore -alias jetty -genkey -keyalg RSA

6)时间同步设置
生成时区文件
tzselect生成 Asia/shanghai的文件
5->9->1->yes

{
ln 软连接
-s 创建软连接
-f强制(覆盖)
}
拷贝时区文件
–1)ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
–2)cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
两种都可以

集群时间同步
CRTt中开启交互窗口 发送
sudo date -s ‘2018-11-28 20:41:33’ 写你现在的时间

7)修改配置文件
mysql 创建一个数据库 azkaban

server:
修改zakaban.properties:
修改时区文件:
default.timezone.id=Asia/Shanghai

改成mysql账户密码
mysql.user=root
mysql.password=root

改成刚刚生成SSL的密码
jetty.password=123456
jetty.keypassword=123456
jetty.trustpassword=123456

增加用户,设置权限
修改azkaban-users.xml:
根据给的模板再加一个

<user username="admin" password="admin" roles="admin.metrics" />

executor:

修改azkaban.properties:

改成mysql账号密码:

mysql.user = root
mysql.password = root

其他的用默认的就可以

8)启动web服务器
bin/azkaban-web-start.sh

9)启动执行器
bin/azkaban-executor-start.sh

10)访问web ,8443端口

猜你喜欢

转载自blog.csdn.net/qq_33598343/article/details/84672294