Celery简单使用&在项目中的运用

celery简单使用

安装celery

1. 安装celery： pip3 install celery
2. 安装redis

创建tasks.py文件进行验证

from celery import Celery
import time

app = Celery('TASK',
             broker='redis://localhost',        
             backend='redis://localhost')

@app.task
def add(x, y):
   print("running..add.", x, y)
   return x + y

@app.task
def minus(x, y):
   time.sleep(60)
   print("running..minus.", x, y)
   return x - y

1、启动Celery Worker来开始监听并执行任务
　　　　
celery -A tasks worker --loglevel=info # tasks是tasks.py文件：必须在tasks.py所在目录下执行

2、调用任务：再打开两个终端，进行命令行模式，调用任务

>>> import tasks

>>> import tasks

>>> t2 = tasks.minus.delay(9,11)

#然后在另一个终端重复上面步骤执行

>>> t1 = tasks.add.delay(3,4)

>>> t1.get() #由于t2执行sleep了3s所以t1.get()需要等待

3、celery其他命令

>>> t.ready() #返回true证明可以执行，不必等待

>>> t.get(timeout=1) #如果1秒不返回结果就超时,避免一直等待

>>> t.get(propagate=False) #如果执行的代码错误只会打印错误信息

>>> t.traceback #打印异常详细结果

在项目中如何使用celery

1、创建目录celery_pro，并在celery_pro下创建下面两个文件

创建celery.py

# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals
#1. absolute_import 可以使导入的celery是python绝对路基的celery模块，不是当前我们创建的celery.py
#2. unicode_literals 模块可能是python2和3兼容的，不知道
from celery import Celery
# from .celery import Celery        #这样才是导入当前目录下的celery

app = Celery('proj',
             broker='redis://localhost',
             backend='redis://localhost',
             include=['celery_pro.tasks',
                      'celery_pro.tasks2',
                      ])
#celery-pro是存放celery文件的文件夹名字

#实例化时可以添加下面这个属性
app.conf.update(
   result_expires=3600,        #执行结果放到redis里，一个小时没人取就丢弃
)

# 配置定时任务：每5秒钟执行 调用一次celery_pro下tasks.py文件中的add函数
app.conf.beat_schedule = {
    'add-every-5-seconds': {
        'task': 'celery_pro.tasks.add',
        'schedule': 5.0,
        'args': (16, 16)
    },
}
app.conf.timezone = 'UTC'

if __name__ == '__main__':
   app.start()

tasks.py

# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals
from .celery import app       #从当前目录导入app

#写一个add函数
@app.task
def add(x, y):
    return x + y

tasks2.py

# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals
from .celery import app
import time,random

@app.task
def randnum(start,end):
    time.sleep(3)
    return random.randint(start,end)

touch init.py
在celery_pro目录下新建__init__.py文件，否则执行命令时会报错

执行下面两条命令即可让celery定时执行任务了

1、 启动一个worker：在celery_pro外层目录下执行

celery -A celery_pro worker -l info

2、 启动任务调度器 celery beat

celery -A celery_pro beat -l info

3、执行效果

看到celery运行日志中每5秒回返回一次 add函数执行结果

启动celery的worker：每台机器可以启动8个worker

1、在pythondir目录下启动 /pythondir/celery_pro/ 目录下的worker
celery -A celery_pro worker -l info

2、后台启动worker：/pythondir/celery_pro/目录下执行

celery multi start w1 -A celery_pro -l info             #在后台启动w1这个worker
celery multi start w1 w2 -A celery_pro -l info       #一次性启动w1,w2两个worker
celery -A celery_pro status                                       #查看当前有哪些worker在运行
celery multi stop w1 w2 -A celery_pro                   #停止w1,w2两个worker
celery multi restart w1 w2 -A celery_pro               #重启w1,w2两个worker

手动给celery分配任务：在/pythondir/下执行

python3
from celery_pro import tasks,tasks2

t1 = tasks.add.delay(34,3)
t2 = tasks2.randnum.delay(1,10000)             
t1.get()
t2.get()

参考来自于此