在 ubuntu 上设置 Apache Airflow 以使用 MySQL 运行多个 DAG 和任务

默认情况下,Airflow 使用 SQLite 数据库来存储元信息。 SQLite 不支持多连接,默认只支持顺序执行。这里我将使用 MySQL 进行并行执行。

MySQL 安装指南 u003du003d>MySQL-Setup

气流-MySQL 设置:

• 打开终端并执行

• mysql -u root -p

• mysql> 创建数据库气流;

• mysql> 创建用户 'airflow'@'localhost' 由 'airflow' 识别;

• mysql> GRANT ALL PRIVILEGES ON 气流。 * TO '气流'@'localhost';

• mysql> 刷新权限;

• Airflow 需要一个家,~/airflow 是默认的,但如果你愿意,你可以在其他地方打基础

导出 AIRFLOW_HOMEu003d~/气流

• 使用 pip 安装气流

sudo pip 安装 apache-airflow

• 为你的 dags 创建子文件夹

mkdir ~/气流/dags

• 更改并行执行的气流配置

• 打开airflow.cfg,存在于你的airflow home

• 更改执行器和数据库

• 执行者 u003d 本地执行者

• sql_alchemy_conn u003dmysql://airflow:airflow@localhost:3306/airf..

• 初始化数据库

气流初始化数据库

• 启动web服务器,默认端口为8080

气流网络服务器-D

• 启动调度器

气流调度器-D

• 在浏览器中访问localhost:8080。

本地主机:8080