Airflow2.0.0 + Celery 集群搭建

1、说明

• 依赖python环境、基于pip安装apache-airflow
• 安装过程可能会缺少系统依赖报错如gcc、mysql-devel 之类, 缺什么就 yum install 什么即可

2、airflow + celery架构

3、集群规划

	服务器hadoop100	服务器hadoop101	服务器hadoop102
web server		V
scheduler		V
worker	V	V	V

注意

• 编写DAG文件需要保证在集群每个节点都要同步,因为每个worker都是从本地进行读取执行的, 不像oozie那样上传到HDFS. scheduler仅仅是发送一条要执行哪个DAG下的哪个Task的命令到Queue Broker下, 然后worker再根据命令去指定指定的那个Task.
• 集群里面的airflow.cfg配置文件也需要保持同步

4、安装

4.1、下载apache-airflow、celery、mysql、redis包

1、在3台机器上都要下载一次

以下是在hadoop101上执行, 在hadoop100,hadoop102一样的下载

[hadoop@hadoop101 ~]$ pip3 install apache-airflow==2.0.0 
[hadoop@hadoop101 ~]$ pip3 install apache-airflow[celery]
[hadoop@hadoop101 ~]$ pip3 install apache-airflow[mysql]
[hadoop@hadoop101 ~]$ pip3 install apache-airflow[reids] -i 
http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

2、配置Airflow工作目录的环境变量

• 在3台机器上都要配置一次、最好使用xsync脚本同步

[hadoop@hadoop101 ~]$ vim /etc/profile
添加如下
export AIRFLOW_HOME=~/app/airflow

3 配置airflow命令

• 下载apache-airflow包后,在python环境的bin目录下会生成airflow命令, 需要自己配置到全局调用, 我是用软连接挂在到/usr/local/bin

如

[hadoop@hadoop101 bin]$ pwd
/usr/local/python3/bin
[hadoop@hadoop101 bin]$ ll | grep airflow
-rwxr-xr-x. 1 hadoop hadoop      231 1月   6 19:58 airflow

# 创建软连接
[hadoop@hadoop101 bin]$ ln -s /usr/local/python3/bin/airflow /usr/local/bin/airflow
[hadoop@hadoop101 bin]$ cd /usr/local/bin/
[hadoop@hadoop101 bin]$ ll
lrwxrwxrwx. 1 root   root    30 1月   7 10:26 airflow -> /usr/local/python3/bin/airflow

使用命令airflow --help看是否执行成功, 执行airflow的任何命令都会初始化airflow的工作目录的生成(在${AIRFLOW_HOME}目录下)

[hadoop@hadoop101 airflow]$ pwd
/home/hadoop/app/airflow
[hadoop@hadoop101 airflow]$ ll
总用量 24488
-rw-rw-r--. 1 hadoop hadoop    38857 1月   7 20:09 airflow.cfg
drwxrwxr-x. 9 hadoop hadoop      179 1月   7 20:05 logs
-rw-rw-r--. 1 hadoop hadoop     2619 1月   7 10:26 unittests.cfg
-rw-rw-r--. 1 hadoop hadoop     4279 1月   7 10:26 webserver_config.py

4.2、配置元数据库

• 修改 ${AIRFLOW_HOME}/airflow.cfg配置文件, 配置远程连接数据库的地址, 需要先创建一个叫airflow的数据库. 因为默认使用的是sqlite作为元数据库不支持DAG任务的并发执行、绝不能用于生产环境
• 需要设置mysql的my.cnf 文件下的 `[mysqld] 的 explicit_defaults_for_timestamp=1 才能正常连接成功

[core]
# 时区设置
default_timezone = Asia/Shanghai
# 数据库连接设置
sql_alchemy_conn = mysql+mysqldb://airflow:123456@www.burukeyou.com:3306/airflow?charset=utf8
# 数据库编码
sql_engine_encoding = utf-8

4.3、配置celery

• 修改 ${AIRFLOW_HOME}/airflow.cfg配置文件, 配置celery和executor相关配置

# 设置执行策略、可选SequentialEXecutor(默认)、LocalExecutor(适合单机)、Celery Executor
executor = CeleryExecutor
# 配置celery的broker_url			(存储要执行的命令然后celery的worker去消费)
broker_url = redis://127.0.0.1:6379/0
# 配置celery的result_backend  (存储任务执行状态)、 也可以用redis存储
result_backend = db+mysql://airflow:123456@www.burukeyou.com:3306/airflow?charset=utf8
#result_backend = redis://127.0.0.1:6379/1

4、其他airflow.cfg 配置(可选)

# web ui 界面使用的时区
default_ui_timezone=Asia/Shanghai
# 是否加载案例demo
load_examples = False
# 是否执行以前未执行的DAG Run, 定义每个DAG对象可传递catchup参数覆盖
catchup_by_default = False

5、启动

5.1 初始化元数据库表生成

• 执行如下命令成功后, 查看数据库airflow下是否生成各个表

[hadoop@hadoop101 ~]$ airflow db init

5.2 启动web server、scheduler、worker

• 在hadoop101上启动web server、scheduler、worker
• 在hadoop100和102上启动worker

[hadoop@hadoop101 ~]$  airflow webserver --port 9988  # -D 参数以守护进程启动(以下均适用)
[hadoop@hadoop101 ~]$  airflow scheduler -D
[hadoop@hadoop101 ~]$  airflow celery worker -D # -q 可指定worker监听消费的队列,默认是default队列
[hadoop@hadoop100 ~]$  airflow celery worker -D 
[hadoop@hadoop102 ~]$  airflow celery worker -D

访问 hadoop101:9988的web server 的UI界面

发现需要账号密码、创建一个即可.

[hadoop@hadoop101 ~]$airflow users create \
    --username hadoop \
    --firstname hadoop \
    --lastname hadoop \
    --role Admin \
    --email xx@xx.com

之后在${AIRFLOW_HOME}/dags 编写自己的DAG任务即可, DAG文件名以包含dag或者airflow就会被scheduler去调度执行. 会根据 DAG对象的start_date和schedule_interval两个参数去生成每个DAG RUN的时间点, 时间到了就会触发执行.

tip:

• start_date和schedule_interval 两个参数去配置定时的周期可不是从字面上看上那么简单.
• 见 Airflow 官方文档 FAQ
• 见 Airflow 官方文档 DAG RUN

打赏

如果觉得文章有用,你可鼓励下作者(支付宝)