工作流调度

【郑州校区】大数据离线阶段Day7之模块开发----工作流调度
整个项目的数据按照处理过程,从数据采集到数据分析,再到结果数据的导出,一系列的任务可以分割成若干个azkaban的job单元,然后由工作流调度器调度执行。
调度脚本的编写难点在于shell脚本。但是一般都是有固定编写模式。大家可以参考资料中的脚本进行编写。大体框架如下:
#!/bin/bash
#set java env
#set hadoop env
#设置一些主类、目录等常量
#获取时间信息
#shell主程序、结合流程控制(if....else)去分别执行shell命令。
更多工作流及hql脚本定义见参考资料。

猜你喜欢

转载自blog.51cto.com/13587708/2287400