关于工作流调度器Azkaban与Oozie对比

1.功能方面:
Azkaban和Oozie都可以调用像shell脚本、MR、hive任务、spark、java等工作流任务,并且都可以设置任务来执行。

2.关于框架:
azkaban是一个轻量级的框架,开发较为简单,有良好的web界面对任务可以随时进行查看监控。
oozie是一个基于hadoop的分布式的工作流调度框架,相对于azkaban的来讲oozie的web页面不是很友好,执行调度时会启动MR任务,需要使用xml文件配置工作流,有一定的难度,是一个重量级框架,从框架的重量级上来说相对于oozie而言azkaban任务流调度系统还是很常用的。

3.工作流:
azkaban通过properties文件中配置任务来进行调度。
oozie通过在xml文件中配置任务来进行调度。

4.工作流传参对比:
Azkaban支持直接传参,例如 $ {parameter}。
Oozie支持参数和EL表达式两种方式,例如${fs:dirSize(parameter)}。

5.资源管理:
Azkaban有较严格的权限控制,如用户对工作流进行读/写/执行等操作,但是Oozie暂无严格的权限控制。

6.任务失败:
Azkaban会丢失所有的工作流。
但是Oozie可以在继续失败的工作流运行。

猜你喜欢

转载自blog.csdn.net/weixin_44080445/article/details/107876514