Airflow 中文文档:调度和触发器

Airflow调度程序监视所有任务和所有DAG,并触发已满足其依赖关系的任务实例。 在幕后,它监视并与其可能包含的所有DAG对象的文件夹保持同步,并定期(每分钟左右)检查活动任务以查看是否可以触发它们。

Airflow调度程序旨在作为Airflow生产环境中的持久服务运行。 要开始,您需要做的就是执行airflow scheduler 。 它将使用airflow.cfg指定的配置。

请注意,如果您在一天的schedule_interval上运行DAG,则会在2016-01-01T23:59之后不久触发标记为2016-01-01的运行。 换句话说,作业实例在其覆盖的时间段结束后启动。

让我们重复一遍调度schedule_interval在开始日期之后,在句点结束时运行您的作业一个schedule_interval

调度程序启动airflow.cfg指定的执行程序的实例。 如果碰巧是LocalExecutor ,任务将作为子LocalExecutor执行; 在CeleryExecutorMesosExecutor的情况下,任务是远程执行的。

要启动调度程序,只需运行以下命令:

 airflow scheduler

DAG运行

DAG Run是一个表示DAG实例化的对象。

阅读全文/改进本文

猜你喜欢

转载自blog.csdn.net/wizardforcel/article/details/84637283