工作流调度器azkaban笔记（1）—— azkaban 介绍，安装，测试案例

其他 2018-09-23 17:39:11 阅读次数: 0
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012292754/article/details/82429618

1 介绍

1.1 需要工作流调度系统的原因

  • 一个完整的数据分析系统通常都是由大量任务单元组成，shell脚本程序，java程序，mapreduce程序、hive脚本等。
  • 各任务单元之间存在时间先后及前后依赖关系
  • 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

1.2 数据处理流程

某个业务系统每天产生大量的原始数据，处理步骤如下所示。

  1. 通过Hadoop先将原始数据同步到HDFS上；
  2. 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
  3. 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
  4. 将明细数据进行复杂的统计分析，得到结果报表信息；
  5. 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

1.3 工作流调度实现方式

简单的任务调度：直接使用linux的crontab来定义；
复杂的任务调度：开发调度平台,或使用现成的开源调度系统，比如ooize、azkaban等.

1.4 常见工作流调度系统

在hadoop领域，常见的工作流调度器有Oozie, Azkaban,Cascading,Hamake等.

1.5 Azkaban介绍

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点：

  • Web用户界面
  • 方便上传工作流
  • 方便设置任务之间的关系
  • 调度工作流
  • 认证/授权(权限的工作)
  • 能够杀死并重新启动工作流
  • 模块化和可插拔的插件机制
  • 项目工作区
  • 工作流和任务的日志记录和审计

2 Azkaban安装部署

2.1 准备工作

Azkaban Web服务器：azkaban-web-server-2.5.0.tar.gz
Azkaban执行服务器 ：azkaban-executor-server-2.5.0.tar.gz
目前azkaban只支持 mysql,需安装mysql服务器

2.2 解压安装包

这里写图片描述
tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C azkaban
tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C azkaban
这里写图片描述

2.3 脚本导入mysql

mysql -uroot -proot
这里写图片描述
这里写图片描述
这里写图片描述

2.4 创建 SSL 配置

参考地址
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
这里配置的密码是123456
这里写图片描述
完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/server

2.5 配置服务器节点的时区

  1. 先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可.
  2. 拷贝该时区文件，覆盖系统本地时区配置
    cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2.6 修改azkaban.properties

目录/home/hadoop/azkaban/server/conf

#Azkaban Personalization Settings
azkaban.name=Test                           #服务器UI名称,用于服务器上方显示的名字
azkaban.label=My Local Azkaban                               #描述
azkaban.color=#FF3601                                                 #UI颜色
azkaban.default.servlet.path=/index                         #
web.resource.dir=web/                                                 #默认根web目录
default.timezone.id=Asia/Shanghai                           #默认时区,已改为亚洲/上海 默认为美国

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager   #用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml              #用户配置,具体配置参加下文

#Loader for projects
executor.global.properties=conf/global.properties    # global配置文件所在位置
azkaban.project.dir=projects                                                #

database.type=mysql                                                              #数据库类型
mysql.port=3306                                                                       #端口号
mysql.host=localhost                                                      #数据库连接IP
mysql.database=azkaban                                                       #数据库实例名
mysql.user=root                                                                 #数据库用户名
mysql.password=root                                                          #数据库密码
mysql.numconnections=100                                                  #最大连接数

# Velocity dev mode
velocity.dev.mode=false
# Jetty服务器属性.
jetty.maxThreads=25                                                               #最大线程数
jetty.ssl.port=8443                                                                   #Jetty SSL端口
jetty.port=8081                                                                         #Jetty端口
jetty.keystore=keystore                                                          #SSL文件名
jetty.password=123456                                                             #SSL文件密码
jetty.keypassword=123456                                                      #Jetty主密码 与 keystore文件相同
jetty.truststore=keystore                                                                #SSL文件名
jetty.trustpassword=123456                                                   # SSL文件密码

# 执行服务器属性
executor.port=12321                                                               #执行服务器端口

# 邮件设置
mail.sender=xxxxxxxx@163.com                                       #发送邮箱
mail.host=smtp.163.com                                                       #发送邮箱smtp地址
mail.user=xxxxxxxx                                       #发送邮件时显示的名称
mail.password=**********                                                 #邮箱密码
job.failure.email=xxxxxxxx@163.com                              #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com                            #任务成功时发送邮件的地址
lockdown.create.projects=false                                           #
cache.directory=cache                                                            #缓存目录
#Loader for projects
executor.global.properties=conf/global.properties    # global配置文件所在位置
azkaban.project.dir=projects                                                #

database.type=mysql                                                              #数据库类型
mysql.port=3306                                                                       #端口号
mysql.host=localhost                                                      #数据库连接IP
mysql.database=azkaban                                                       #数据库实例名
mysql.user=root                                                                 #数据库用户名
mysql.password=root                                                          #数据库密码
mysql.numconnections=100                                                  #最大连接数

# Velocity dev mode
velocity.dev.mode=false
# Jetty服务器属性.
jetty.maxThreads=25                                                               #最大线程数
jetty.ssl.port=8443                                                                   #Jetty SSL端口
jetty.port=8081                                                                         #Jetty端口
jetty.keystore=keystore                                                          #SSL文件名
jetty.password=123456                                                             #SSL文件密码
jetty.keypassword=123456                                                      #Jetty主密码 与 keystore文件相同
jetty.truststore=keystore                                                                #SSL文件名
jetty.trustpassword=123456                                                   # SSL文件密码

# 执行服务器属性
executor.port=12321                                                               #执行服务器端口

# 邮件设置
mail.sender=xxxxxxxx@163.com                                       #发送邮箱
mail.host=smtp.163.com                                                       #发送邮箱smtp地址
mail.user=xxxxxxxx                                       #发送邮件时显示的名称
mail.password=**********                                                 #邮箱密码
job.failure.email=xxxxxxxx@163.com                              #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com                            #任务成功时发送邮件的地址
lockdown.create.projects=false                                           #
cache.directory=cache                                                            #缓存目录

2.7 配置 azkaban-users.xml

目录 /home/hadoop/azkaban/server/conf

<azkaban-users>
    <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
    <user username="metrics" password="metrics" roles="metrics"/>
     <user username="admin" password="admin" roles="admin,metrics" />
    <role name="admin" permissions="ADMIN" />
    <role name="metrics" permissions="METRICS"/>
</azkaban-users>

2.8 执行服务器 executor 配置

/home/hadoop/azkaban/executor/conf/azkaban.properties

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

3 启动

3.1 启动 web 服务器

在azkaban web服务器目录下执行启动命令 bin/azkaban-web-start.sh

或者启动到后台
nohup  bin/azkaban-web-start.sh  1>/tmp/azstd.out  2>/tmp/azerr.out &

这里写图片描述

3.2 启动执行服务器

在执行服务器目录下执行启动命令bin/azkaban-executor-start.sh

[hadoop@node1 ~]$ cd azkaban/executor/
[hadoop@node1 executor]$ bin/azkaban-executor-start.sh
Using Hadoop from /home/hadoop/apps/hadoop-2.7.6
Using Hive from /home/hadoop/apps/hive
bin/..
:bin/../lib/azkaban-2.5.0.jar:bin/../lib/commons-collections-3.2.1.jar:bin/../lib/commons-configuration-1.8.jar:bin/../lib/commons-dbcp-1.4.jar:bin/../lib/commons-dbutils-1.5.jar:bin/../lib/commons-email-1.2.jar:bin/../lib/commons-fileupload-1.2.1.jar:bin/../lib/commons-io-2.4.jar:bin/../lib/commons-jexl-2.1.1.jar:bin/../lib/commons-lang-2.6.jar:bin/../lib/commons-logging-1.1.1.jar:bin/../lib/commons-pool-1.6.jar:bin/../lib/guava-13.0.1.jar:bin/../lib/h2-1.3.170.jar:bin/../lib/httpclient-4.2.1.jar:bin/../lib/httpcore-4.2.1.jar:bin/../lib/jackson-core-asl-1.9.5.jar:bin/../lib/jackson-mapper-asl-1.9.5.jar:bin/../lib/jetty-6.1.26.jar:bin/../lib/jetty-util-6.1.26.jar:bin/../lib/joda-time-2.0.jar:bin/../lib/jopt-simple-4.3.jar:bin/../lib/junit-4.8.jar:bin/../lib/log4j-1.2.16.jar:bin/../lib/mail-1.4.5.jar:bin/../lib/mysql-connector-java-5.1.28.jar:bin/../lib/servlet-api-2.5.jar:bin/../lib/slf4j-api-1.6.1.jar:bin/../lib/slf4j-log4j12-1.6.4.jar:bin/../lib/velocity-1.7.jar:bin/../lib/velocity-tools-2.0.jar:bin/../extlib/*.jar:bin/../plugins/*/*.jar:/home/hadoop/apps/hadoop-2.7.6/conf:/home/hadoop/apps/hadoop-2.7.6/*:/home/hadoop/apps/hive/conf:/home/hadoop/apps/hive/lib/*
Starting AzkabanExecutorServer on port 12321 ...
[hadoop@node1 executor]$ 2018/09/05 22:41:41.739 +0800 ERROR [AzkabanExecutorServer] [Azkaban] Starting Jetty Azkaban Executor...
2018/09/05 22:41:41.758 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban settings file from bin/../conf
2018/09/05 22:41:41.758 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban private properties file
2018/09/05 22:41:41.759 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban properties file
2018/09/05 22:41:41.781 +0800 INFO [AzkabanExecutorServer] [Azkaban] Setting timezone to Asia/Shanghai
2018/09/05 22:41:41.804 +0800 INFO [log] [Azkaban] Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2018/09/05 22:41:41.945 +0800 INFO [FlowRunnerManager] [Azkaban] Execution dir retention set to 86400000 ms
2018/09/05 22:41:41.995 +0800 INFO [AzkabanExecutorServer] [Azkaban] Registering MBeans...
2018/09/05 22:41:42.003 +0800 INFO [AzkabanExecutorServer] [Azkaban] Bean azkaban.jmx.JmxJettyServer registered.
2018/09/05 22:41:42.006 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning recently finished
2018/09/05 22:41:42.032 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning old projects
2018/09/05 22:41:42.032 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning old execution dirs
2018/09/05 22:41:42.035 +0800 INFO [AzkabanExecutorServer] [Azkaban] Bean azkaban.jmx.JmxFlowRunnerManager registered.
2018/09/05 22:41:42.035 +0800 INFO [log] [Azkaban] jetty-6.1.26
2018/09/05 22:41:42.152 +0800 INFO [log] [Azkaban] Started SocketConnector@0.0.0.0:12321
2018/09/05 22:41:42.153 +0800 INFO [AzkabanExecutorServer] [Azkaban] Azkaban Executor Server started on port 12321

3.3 测试

浏览器访问 https://node1:8443,
用户名：admin,密码：admin
这里写图片描述

4 azkaban 测试案例

Azkaba内置的任务类型支持command、java

4.1 创建command.job描述文件

#command.job
type=command                                                    
command=echo 'hello'

将job资源文件打包成zip文件

4.2 创建工程

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

猜你喜欢

转载自blog.csdn.net/u012292754/article/details/82429618
今日推荐
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
周排行
[编程题]学英语
[codeforces 1288A] Deadline 约数+模
Python的web开发
Docker在Centos 7上的部署
python编码
解决Ubuntu16.04 fatal error: json/json.h: No such file or directory
mysql并发插入
rest接口如何适应jsonp的方案
linux 终端上网设置
高数——等号两边同时求导、积分的解释
每日归档
更多
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022