AirflowのMySqlOperatorとPostgresOperator

1.依存

MySqlOperator データベースの相互作用MySQLdb はモジュールを介して 実装され、関連する依存関係は使用前にインストールする必要があります。

pip install apache-airflow[mysql]

2.使用する

MySqlOperator SQL実行タスクを使用 する簡単な例：

from airflow import DAG
from airflow.utils.dates import days_ago
from airflow.operators.mysql_operator import MySqlOperator

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': days_ago(1),
    'email': ['[email protected]'],
    'email_on_failure': True,
    'email_on_retry': False,
}

dag = DAG(
    'MySqlOperatorExample',
    default_args=default_args,
    description='MySqlOperatorExample',
    schedule_interval="30 18 * * *")

insert_sql = "insert into log SELECT * FROM temp_log"


task = MySqlOperator(
    task_id='select_sql',
    sql=insert_sql