azkaban详解之简单并行任务创建
1.需求
建立一个具有开始->并行运行->结束
的azkaban job。
2.代码如下
- start.job
type=noop
- first.job
type=command
command="echo first"
dependencies=start
- second.job
type=command
command="echo second"
dependencies=start
- three.job
type=command
command="echo first"
dependencies=start
- four.job
type=command
command="echo first"
dependencies=start
- end.job
type=noop
dependencies=first,second,three,four
将如上几个job所在文件打包生成.zip文件。然后上传到azkaban的project中。
注:
- 上面的
type=noop
。这里的noop是一个空操作,放在这里只是为了做一个job的开始,然后一起进行并行的任务运行。官网中这么介绍:Noop: A job that takes no parameters and is essentially a null operation. Used for organizing your graph.
- azkaban中压缩文件的命名(start.noop.job)将会导致无法读取整个job流。【这可能是一个bug】