python任务调度模块celery
celery简介
Celery是一个python开发的异步分布式任务调度模块。
Celery本身并不提供消息服务,使用第三方服务,也就是borker来传递任务,一般使用rabbitMQ或者Redis。
- Celery特点
简单:一单熟悉了celery的工作流程后,配置和使用还是比较简单的。
高可用:当任务执行失败或执行过程中发生连接中断,celery 会自动尝试重新执行任务。
快速:一个单进程的celery每分钟可处理上百万个任务。
灵活: 几乎celery的各个组件都可以被扩展及自定制。 - Celery工作流程图
python-Celerycelery安装使用
安装Celery模块1
pip install celery
Celery的默认broker是RabbitMQ,仅需配置一行
1 |
broker_url = 'amqp://guest:guest@localhost:5672//' |
RabbitMQ的安装点击Using RabbitMQ查看。
redis作为broker也可以。
-
安装
1
pip install redis
-
配置
broker_url配置redis数据库地址,格式为redis://:password@hostname:port/db_number
。
backend配置任务结果存储位置,将保存每个任务的执行结果。1 2
app.conf.broker_url = 'redis://localhost:6379/0' app.conf.result_backend = 'redis://localhost:6379/0'
port和db_number是可选项,默认情况下端口使用6379,db_number使用0。
- 示例
创建一个celery application定义任务列表,新建一个celery1.py
文件1 2 3 4 5 6 7 8
from celery import Celery broker = "redis://118.24.18.158:6379/5" backend = "redis://118.24.18.158:6379/6" app = Celery("celery1", broker=broker, backend=backend) @app.task def add(x, y): return x+y
启动Celery Worker开始监听并执行任务
1 |
celery -A celery1 worker --loglevel=info |
调用任务
1 2 3 4 5 6 7 8 9 |
import time from celery1 import add re = add.delay(10, 20) print(re) print(re.status) time.sleep(8) print(re.status) print(re.result) |