Django 2.0 + Celery 3.1.25 定时（周期）任务

1.目的

　　最近根据项目需要，希望在django框架下实现一些定时任务功能

　　此为demo示例，简单的做每5s 实现 'hello world' 的打印

　　踩过一些坑，最终还是顺利完成了配置。

2.基建

　　使用的包：[django==2.0, django-celery==3.2.2, celery==3.1.25]

　　创建Django项目以及相关app

　　在新建的app目录下添加tasks文件夹

　　在settings.py所在同级目录新建 celery.py

C:.
│  celery
│  db.sqlite3
│  manage.py
│  requirements.txt
│
├─app_name
│  │  admin.py
│  │  apps.py
│  │  models.py
│  │  tests.py
│  │  views.py
│  │  __init__.py
│  │
│  ├─migrations
│  │  │  __init__.py
│  │
│  ├─tasks
│  │  │  timer_job.py
│  │  │  __init__.py
│
├─project_name
│  │  celery.py
│  │  settings.py
│  │  urls.py
│  │  wsgi.py
│  │  __init__.py

　　创建django-celery所需要的表，在控制台执行

　　python manage.py migrate djcelery

扫描二维码关注公众号，回复： 7865206 查看本文章

3.配置

　　关于任务注册，我选择在celery.py里进行

　　配置settings.py

　　PS: broker使用 rabbitmq 3.8.1 安装完成后，确定可以登录管理界面 15672即可

　　　　backend 和调度器都与django orm关联

　　配置celery.py 参考：http://docs.celeryproject.org/en/3.1/django/first-steps-with-django.html

 1 from __future__ import absolute_import
 2 
 3 import os
 4 
 5 from celery import Celery
 6 
 7 from django.conf import settings
 8 
 9 from datetime import timedelta
10 
11 #from celery.schedules import crontab
12 
13 os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'project_name.settings')
14 
15 app = Celery('project_name')
16 
17 app.config_from_object('django.conf:settings')
18 
19 app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
20 
21 #此处使用 beat.schedule 无法完成注册
22 #任务注册也可在 settings里完成
23 app.conf.update(CELERYBEAT_SCHEDULE={
24     'hello': {
25         'task': 'app_name.tasks.timer_job.hello',
26         'schedule': timedelta(second=10),
27         'args': (),
28     },
29 })
30 
31 app.conf.timezone = 'UTC'

　　在project_name下的 __init__.py 导入celery实例

from __future__ import absolute_import, unicode_literals
from .celery import app as celery_app

4.任务

　　在app tasks文件夹下添加将要执行的任务 timer_job.py

from project_name import celery_appdef say_hello():
    return 'hello world'

@celery_app.task
def hello():
    try:
        a = say_hello()
        print(a)
    except Exception:
        print('调用方法错误')

　　在tasks文件夹下添加 __init__.py

　　(根据上面配置 worker查找注册任务本应该查找每个app下 tasks.py 但此处使用tasks文件夹以应对添加多任务的情况，需要把tasks转为py包)

from .timer_job import hello

5.启动

　　执行路径改为 celery.py的上级目录

　　在控制台中执行 python manage.py celery beat

celery beat v3.1.25 (Cipater) is starting.
__    -    ... __   -        _
Configuration ->
    . broker -> amqp://guest:**@localhost:5672//
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> djcelery.schedulers.DatabaseScheduler

    . logfile -> [stderr]@%INFO
    . maxinterval -> now (0s)
[2019-11-15 13:54:01,998: INFO/MainProcess] beat: Starting...
[2019-11-15 13:54:01,998: INFO/MainProcess] Writing entries (0)...
[2019-11-15 13:54:02,249: INFO/MainProcess] DatabaseScheduler: Schedule changed.
[2019-11-15 13:54:02,250: INFO/MainProcess] Writing entries (0)...
[2019-11-15 13:54:02,283: INFO/MainProcess] Scheduler: Sending due task hello (app_name.tasks.timer_job.hello)
[2019-11-15 13:54:02,309: INFO/MainProcess] Writing entries (1)...
[2019-11-15 13:54:12,284: INFO/MainProcess] Scheduler: Sending due task hello (app_name.tasks.timer_job.hello)
[2019-11-15 13:54:22,284: INFO/MainProcess] Scheduler: Sending due task hello (app_name.tasks.timer_job.hello)
[2019-11-15 13:54:32,285: INFO/MainProcess] Scheduler: Sending due task hello (app_name.tasks.timer_job.hello)
[2019-11-15 13:54:42,285: INFO/MainProcess] Scheduler: Sending due task hello (app_name.tasks.timer_job.hello)
[2019-11-15 13:54:52,286: INFO/MainProcess] Scheduler: Sending due task hello (app_name.tasks.timer_job.hello)

　　可以看到提示消息每10s向队列发送任务信息