Celery的简单使用

其他 2020-07-25 11:45:05 阅读次数: 0

Celery使用

Celery是啥？

官方：

Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统
专注于实时处理的异步任务队列
同时也支持任务调度

注意：
"""
Celery is a project with minimal funding, so we don’t support Microsoft Windows. 
Please don’t open any issues related to that platform.
"""
大致翻译：
"""
官方声明：celery不适用于windows，在windows上操作可能会出错
"""

总结：

Celery是一个异步任务框架，能够执行异步、延时、定时任务

Celery异步任务框架

1）可以不依赖任何服务器，通过自身命令，启动服务(内部支持socket)
2）celery服务为为其他项目服务提供异步解决任务需求的
注：会有两个服务同时运行，一个是项目服务，一个是celery服务，项目服务将需要异步处理的任务交给celery服务，celery就会在需要时异步完成项目的需求
# 它是一个独立的项目，跟django是两个东西，在django项目重使用celery则需要加载django配置环境
import os
def main():
    os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffyapi.settings.dev')
    import django
    django.setup()

img

两种celery任务结构：提倡用包管理，结构清晰

# 如果 Celery对象:Celery(...) 是放在一个模块下的
# 1）终端切换到该模块所在文件夹位置：scripts
# 2）执行启动worker的命令：celery worker -A 模块名 -l info -P eventlet
# 注：windows系统需要eventlet支持，Linux与MacOS直接执行：celery worker -A 模块名 -l info
# 注：模块名随意

# 如果 Celery对象:Celery(...) 是放在一个包下的
# 1）必须在这个包下建一个celery.py的文件，将Celery(...)产生对象的语句放在该文件中
# 2）执行启动worker的命令：celery worker -A 包名 -l info -P eventlet
# 注：windows系统需要eventlet支持，Linux与MacOS直接执行：celery worker -A 模块名 -l info
# 注：包名随意

windows上启动celery正常，执行任务时报错

Traceback (most recent call last):
  File "c:\users\circle\appdata\local\programs\python\python37-32\lib\site-packages\billiard\pool.py", line 358, in workloop
    result = (True, prepare_result(fun(*args, **kwargs)))
  File "c:\users\circle\appdata\local\programs\python\python37-32\lib\site-packages\celery\app\trace.py", line 546, in _fast_trace_task
    tasks, accept, hostname = _loc
ValueError: not enough values to unpack (expected 3, got 0)

解决办法

安装 pip install eventlet
重新输入如下名命令
# celery_task是包名,包下必须要有一个叫celery的文件
celery worker -A celery_task -l info -P eventlet

Celery执行异步任务

# 创建py文件：celery_app_task.py
import celery
import time
# broker='redis://:密码@127.0.0.1:6379/存储位置'
# backend='redis://:密码@127.0.0.1:6379/存储位置'
backend = 'redis://127.0.0.1:6379/1' # 结构存储，执行完的结果存在这里
broker = 'redis://127.0.0.1:6379/2'  # broker任务队列
app = Celery(__name__, backend=backend, broker=broker)
@app.task
def add(x,y):
    return x+y

# 非windows
# 命令：celery worker -A celery_task -l info
# windows：
# pip3 install eventlet
# celery worker -A celery_task -l info -P eventlet

包架构封装（多任务结构）

project
    ├── celery_task  	# celery包
    │   ├── __init__.py # 包文件
    │   ├── celery.py   # celery连接和配置相关文件，且名字必须叫celery.py
    │   └── tasks.py    # 所有任务函数
    ├── add_task.py  	# 添加任务
    └── get_result.py   # 获取结果

基本使用

celery.py

# 1）创建app + 任务
# 2）启动celery(app)服务：
# 非windows
# 命令：celery worker -A celery_task -l info
# windows：
# pip3 install eventlet
# celery worker -A celery_task -l info -P eventlet
# 3）添加任务：手动添加，要自定义添加任务的脚本，右键执行脚本
# 4）获取结果：手动获取，要自定义获取任务的脚本，右键执行脚本

from celery import Celery
broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery(broker=broker, backend=backend, include=['celery_task.tasks1', 'celery_task.tasks2'])

tasks.py

from .celery import app
import time
@app.task
def add(n, m):
    print(n)
    print(m)
    time.sleep(10)
    print('n+m的结果：%s' % (n + m))
    return n + m

@app.task
def low(n, m):
    print(n)
    print(m)
    print('n-m的结果：%s' % (n - m))
    return n - m

add_task.py

from celery_task import tasks
# 添加立即执行任务
t1 = tasks.add.delay(10, 20)
t2 = tasks.low.delay(100, 50)
print(t1.id)

# 添加延迟任务
from datetime import datetime, timedelta
eta=datetime.utcnow() + timedelta(seconds=10)
tasks.low.apply_async(args=(200, 50), eta=eta)

get_result.py

# 获取celery存入的值
from celery_task.celery import app
from celery.result import AsyncResult

id = '21325a40-9d32-44b5-a701-9a31cc3c74b5'
if __name__ == '__main__':
    async = AsyncResult(id=id, app=app)
    if async.successful():
        result = async.get()
        print(result)
    elif async.failed():
        print('任务失败')
    elif async.status == 'PENDING':
        print('任务等待中被执行')
    elif async.status == 'RETRY':
        print('任务异常后正在重试')
    elif async.status == 'STARTED':
        print('任务已经开始被执行')

高级使用（定时任务）

celery.py

from celery import Celery
broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery(broker=broker, backend=backend, include=['celery_task.tasks'])
# 设置时区
app.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
app.conf.enable_utc = False

# 任务的定时配置
from datetime import timedelta
from celery.schedules import crontab
app.conf.beat_schedule = {
    'low-task': {
        'task': 'celery_task.tasks.low',  # 设置定时的任务
        'schedule': timedelta(seconds=3), # 定时时间
        # 'schedule': crontab(hour=8, day_of_week=1),  # 每周一早八点
        'args': (300, 150), # 传入的参数
    }
}

# 命令行启动定时任务 celery beat -A 包名 -l info

tasks.py

from .celery import app

import time
@app.task
def add(n, m):
    print(n)
    print(m)
    time.sleep(10)
    print('n+m的结果：%s' % (n + m))
    return n + m

@app.task
def low(n, m):
    print(n)
    print(m)
    print('n-m的结果：%s' % (n - m))
    return n - m

get_result.py

from celery_task.celery import app
from celery.result import AsyncResult

id = '21325a40-9d32-44b5-a701-9a31cc3c74b5'
if __name__ == '__main__':
    async = AsyncResult(id=id, app=app)
    if async.successful():
        result = async.get()
        print(result)
    elif async.failed():
        print('任务失败')
    elif async.status == 'PENDING':
        print('任务等待中被执行')
    elif async.status == 'RETRY':
        print('任务异常后正在重试')
    elif async.status == 'STARTED':
        print('任务已经开始被执行')

Django中使用celery

  1. 在项目根路径下创建一个包，包内必须有一个名为celery的py文件
  2. 包内还需要一个py文件用来写任务函数
  3. 在celery.py文件内需要加载django配置环境
  4. 创建celery框架对象app，配置broker和backend得到的对象app就是worker
  5. 给worker对应的app添加可处理的任务函数，用include配置给worker的app
  6. 完成提供的任务的定时配置app.conf.beat_schedule
  7. 启动celery服务，运行worker，执行任务
  8. 启动beat服务，运行beat，添加任务

重点：由于采用了django的反射机制，使用celery.py所在的包必须放置项目的根目录下

img

celery.py

# 加载django配置环境
import os
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffyapi.settings.dev')
# 实例化Celery，获取worker对象，include添加可处理的任务函数
from celery import Celery
broker = 'redis://127.0.0.1:6379/0'  # 数据存储位置
backend = 'redis://127.0.0.1:6379/1' # 返回值存储位置
app = Celery(__name__, broker=broker, backend=None, include=['celery_task.tasks'])

# 时区
app.conf.timezone = 'Asia/shanghai'
# 是否使用utc时间
app.conf.enable_utc = False

# 任务的定时配置
from datetime import timedelta
from celery.schedules import crontab

app.conf.beat_schedule = {
    'update-banner-list': {
        'task': 'celery_task.tasks.update_banner_list',
        'schedule': timedelta(seconds=5),
        'args': (),
    }
}

tasks.py

from .celery import app
from django.core.cache import cache
from django.conf import settings
from home import serializer, models


@app.task
def update_banner_list():
    queryset = models.Banner.objects.filter(is_delete=False, is_show=True).order_by('-display_order')[:settings.BANNER_COUNT]
    ser = serializer.BannerModelSerializer(instance=queryset, many=True)
    banner_list = ser.data
    for banner in banner_list:
        banner['banner_url'] = 'http://127.0.0.1:8000%s' % banner['banner_url']
    cache.set('banner_list', banner_list, 60*60*24)
    return True

猜你喜欢

转载自www.cnblogs.com/guanxiying/p/13375962.html
今日推荐
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
《2024 年一季度互联网投融资运行情况》研究报告
报告：Django 仍然是 74% 开发者的首选
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
周排行
记一下去大梅沙的准备（2018-05-26）
Spring 注解 事务
基于HTTP协议的客户端缓存
阿里云rds 备份和还原
[PHP] 几个拖慢 PHP 程序/API 运行速度的点
python 代码风格------------PEP8规则
js控制json生成菜单——自制菜单（一）
将字符串: 'k:1|k1:2|k2:3|k3:4 ' ,处理成 python 字典: {'k':1, 'k1':2, ...}
微信小程序转支付宝小程序
Qt551.窗口滚动条
每日归档
更多
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022