大数据工作流Oozie

  • 提供Hadoop任务的调度和管理,不仅可以管理MapReduce任务,还可以管理pig、hive、sqoop、spark等任务,Oozie就是一个基于hadoop的工作流引擎。
  • 两个主要组件:

工作流定义组件:一系列Action个的列表(Action就是一个任务节点,eg:MapReduce任务、pig任务、hive任务等)

调度器组件:可调度的WorkFlow(workflow就是定义一个DAG的任务图,而调度器可以决定在某个时间或符合条件执行DAG(有向无环图 Direct Acyclic Graph)任务图)

  • Oozie工作流定义中的两种节点:

控制流节点:用于定义逻辑判断,eg:start、end、控制流程执行路径

动作节点:用户执行任务节点:hadoop任务、Oozie子流程

  • 定义一个完整Oozie工作流需编写3个文件

1、workflow.xml:(必需)定义工作流任务(需放到HDFS上)

2、config-default:(可选) 包括所有工作流共享的属性值

3、job.properties: (必需)针对每个工作流的属性值

猜你喜欢

转载自blog.csdn.net/chechelove886/article/details/84308144