代码走读 airflow 2

1.8.1

==================

 ================

1 max_threads :同时起这么多个进程处理pyfile
2 file_process_interval:在这么长时间(秒)中,一个文件最多执行一次
3 run_duration:scheduler的循环什么时候退出
4 DagStat中的信息是对DagRun中state的一个统计
5 每个dag都有最大并行执行个数dag.max_active_runs【ruing的个数】
6 dag_dir_list_interval:多长时间去找新增dag和删除的dag
7 DAG的dagrun_timeout属性可以控制dag最长能运行多久
8 DAG的dag_concurrency属性可以控制dag中可以并行执行的task个数
9 max_active_runs(max_active_runs_per_dag)属性控制正在running的dag个数,超过这个个数就不给这个dag起新的dagrun了
10 可以查看models中DAG类的属性来看控制DAG都有哪些方法
11 dagrun所有的taskinstance的状态决定了dagrun的状态,dagrun和taskinstance通过dag_id和execution_date相关联的
12 dag第一次开始执行的时间是:startdate + self._schedule_interval
13 通过表dag_run的run_id属性来判断dagrun是scheduler的还是backfill的
14 JOB_HEARTBEAT_SEC 表示scheduler每个多久心跳一次
15 default queue 有128个槽,即最多并行128个taskinstance
16 localworker将taskinstance状态改成success
17 executor的心跳是将queued_tasks中的任务放到queue中
18 processor_manager 里存了每个dagfile的执行情况

猜你喜欢

转载自www.cnblogs.com/testzcy/p/12593664.html