Django 프로젝트에서 Celery를 사용하는 방법

기타 2020-09-14 17:49:27 독서 시간: null

celery_pro 디렉터리를 만들고 celery_pro 아래에 다음 두 파일을 만듭니다.

celery.py

# celery.py
# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals
#1. absolute_import 可以使导入的celery是python绝对路基的celery模块，不是当前我们创建的celery.py
#2. unicode_literals 模块可能是python2和3兼容的，不知道
from celery import Celery
# from .celery import Celery        #这样才是导入当前目录下的celery
			# 填写你的项目名
app = Celery('project',
             broker='redis://localhost',
             backend='redis://localhost',
             include=['celery_pro.tasks',
                      'celery_pro.tasks2',
                      ])
#celery——pro是存放celery文件的文件夹名字

#实例化时可以添加下面这个属性
app.conf.update(
   result_expires=3600,        #执行结果放到redis里，一个小时没人取就丢弃
)

# 配置定时任务：每5秒钟执行 调用一次celery_pro下tasks.py文件中的add函数
app.conf.beat_schedule = {
    'add-every-5-seconds': {
        'task': 'celery_pro.tasks.add',  # 寻找tasks下面的add函数
        'schedule': 5.0,
        'args': (16, 16)
    },
}
app.conf.timezone = 'UTC'   # 配置的时间规范

if __name__ == '__main__':
   app.start()

task.py

# task.py
# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals
from .celery import app       #从当前目录导入app

#写一个add函数
@app.task
def add(x, y):
    return x + y

task2.py

# task2.py
# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals
from .celery import app
import time,random

@app.task
def randnum(start,end):
    time.sleep(3)
    return random.randint(start,end)

tasks2.py

디렉토리에서 init .py
새 celery_pro __init__.py 파일을 터치 하십시오 . 그렇지 않으면 명령을 실행할 때 오류가 발생합니다.

다음 두 명령을 실행하여 셀러리가 정기적으로 작업을 실행하도록합니다.

  1. 작업자 시작 :
    celery_pro 의 외부 디렉토리에서 celery -A celery_pro worker -l info 를 실행합니다.

  2. 작업 스케줄러 시작 celery beat
    celery -A celery_pro beat -l info

  3. 실행 효과
    셀러리 실행 로그에 추가 기능의 실행 결과가 5 초마다 반환되는지 확인합니다.

셀러리 작업자 시작 : 각 기계는 8 명의 작업자를 시작할 수 있습니다.

  1. pythondir 디렉토리의 / pythondir / celery_pro / 디렉토리에서 작업자를 시작합니다.

셀러리 -A celery_pro worker -l info

  1. 백그라운드에서 작업자 시작 : / pythondir / celery_pro / 디렉터리에서 실행
celery multi start w1 -A celery_pro -l info             #在后台启动w1这个worker

celery multi start w1 w2 -A celery_pro -l info       #一次性启动w1,w2两个worker

celery -A celery_pro status                       #查看当前有哪些worker在运行

celery multi stop w1 w2 -A celery_pro                   #停止w1,w2两个worker

celery multi restart w1 w2 -A celery_pro               #重启w1,w2两个worker

셀러리에 작업을 수동으로 할당 할 수도 있습니다. / pythondir /에서 실행합니다.

python3
from celery_pro import tasks,tasks2

t1 = tasks.add.delay(34,3)
t2 = tasks2.randnum.delay(1,10000)             
t1.get()
t2.get()

手动给celery分配任务：在/pythondir/下执行

셀러리 및 Django 프로젝트에 대한 모범 사례

pip3 install Django==2.0.4
pip3 install celery==4.3.0
pip3 install redis==3.2.1
pip3 install ipython==7.6.1 

find ./ -type f | xargs sed -i 's/\r$//g'     # 批量将当前文件夹下所有文件装换成unix格式
celery  multi start celery_test -A celery_test -l debug --autoscale=50,5        # celery并发数：最多50个，最少5个
http://docs.celeryproject.org/en/latest/reference/celery.bin.worker.html#cmdoption-celery-worker-autoscale
ps auxww|grep "celery worker"|grep -v grep|awk '{print $2}'|xargs kill -9       # 关闭所有celery进程

Django에서 셀러리 사용 소개 (셀러리는 Windows에서 실행할 수 없음)

  1. Django에서 셀러리를 사용할 때 셀러리 파일은 tasks.py 여야합니다.

  2. Django는 각 앱에서 tasks.py 파일을 자동으로 찾습니다.

Django 프로젝트 celery_test 및 app01 만들기

프로젝트와 동일한 이름으로 디렉토리에 celery.py를 만듭니다.

# celery.py
# -*- coding: utf-8 -*-
from __future__ import absolute_import
import os
from celery import Celery

# 只要是想在自己的脚本中访问Django的数据库等文件就必须配置Django的环境变量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'celery_test.settings')

# app名字
app = Celery('celery_test')

# 配置celery
class Config:
    BROKER_URL = 'redis://192.168.56.11:6379'
    CELERY_RESULT_BACKEND = 'redis://192.168.56.11:6379'

app.config_from_object(Config)
# 到各个APP里自动发现tasks.py文件
app.autodiscover_tasks()

프로젝트와 이름이 같은 디렉토리의 init.py 파일에 다음 컨텐츠를 추가하십시오.

# __init__.py 
# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals

# 告诉Django在启动时别忘了检测我的celery文件
from .celery import app as celery_ap
__all__ = ['celery_app']

app01 / tasks.py 파일 생성

# tasks.py
# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals
from celery import shared_task

# 这里不再使用@app.task,而是用@shared_task，是指定可以在其他APP中也可以调用这个任务
@shared_task
def add(x, y):
   return x + y

settings.py 파일에서 redis 서버의 구성을 지정하십시오.

# settings.py
CELERY_BROKER_URL = 'redis://localhost'
CELERY_RESULT_BACKEND = 'redis://localhost'

Django 프로젝트 celery_test를 centos7.3의 django_test 폴더에 복사합니다.

redis-server가 시작되었는지 확인

셀러리 일꾼 시작

celery -A celery_test worker -l info

Linux에서 Django 프로젝트 시작

python3 manage.py runserver 0.0.0.0:9000

작업 ID를 얻으려면 http://1.1.1.3:9000/celery_call/을 방문하십시오.

~~~~~~~~~

11의 작업 ID에 따라 해당 값을 얻습니다.

http://1.1.1.3:9000/celery_result/?id=5065b65b-0c01-430a-a67f-9531fe3e8d90

↑ 단계를 기반으로 : django에서 예약 된 작업 기능 사용

Django에서 셀러리 타이밍 작업을 사용하려면 django-celery-beat가 설치되어 있어야합니다.

pip3 install django-celery-beat

Django 설정에 django_celery_beat 등록

INSTALLED_APPS = (
        ...,
        'django_celery_beat',
    )

테이블 생성 명령 실행

python3 manage.py makemigrations

python3 manage.py migrate

python3 manage.py startsuperuser

Django 프로젝트 실행

celery -A celery_test worker -l info

python3 manage.py runserver 0.0.0.0:9000

http://1.1.1.3:9000/admin/에 로그인하면 세 개의 테이블을 더 볼 수 있습니다.

~~~~~~

간격 테이블에서 5 초마다 실행되는 작업에 대한 시계 추가

~~~~~~~~~~`

정기 작업 테이블에서 작업 만들기

````````````

/ django_test / celery_test / 디렉터리에서 다음 명령을 실행합니다.

celery -A celery_test worker -l info                                                   #启动一个worker

python manage.py runserver 0.0.0.0:9000                           #运行Django项目

celery -A celery_test beat -l info -S django                                                   #启动心跳任务

说明：

运行上面命令后就可以看到在运行celery -A celery_test worker -l info         窗口中每5秒钟执行一次app01.tasks.add： 2+3=5

새 작업을 추가 할 때 하트 비트를 다시 시작해야합니다.

  1. Django 테이블에 작업을 추가 할 때마다 beat를 다시 시작해야합니다.

  2. 그러나 Django에는 다시 시작하지 않도록 도와주는 djcelery 플러그인이 있습니다.

cdjango + celery + redis는 비동기 주기적 작업을 구현합니다.

참고 : Python의 셀러리 모듈 버전 4.2.0은 처음에 설치된 버전 4.1.1이 아니지만 타이밍 작업은 실행되지 않습니다.

settings.py에서 셀러리 구성

# settings.py
#1、如果在django中需要周期性执行，在这里需要注册 django_celery_beat 中间件
INSTALLED_APPS = [
    '''
    'django_celery_beat',
    '''
]


TIME_ZONE = 'Asia/Shanghai'  # 将默认的UTC时区给成中国时区


#2、celery：配置celery
BROKER_URL = 'redis://localhost:6379'
CELERY_RESULT_BACKEND = 'redis://localhost:6379'
CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TASK_RESULT_EXPIRES = 60 * 60
CELERY_TIMEZONE = 'Asia/Shanghai'
CELERY_ENABLE_UTC=False
CELERY_ANNOTATIONS = {'*': {'rate_limit': '500/s'}}
CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler'

프로젝트와 동일한 이름으로 디렉토리에 celery.py를 만듭니다.

더 많은 타이밍 참조 공식 웹 사이트 : http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html#crontab-schedules

# # -*- coding: utf-8 -*-

from __future__ import absolute_import
import os
from celery import Celery
from celery.schedules import crontab
from datetime import timedelta
from kombu import Queue


# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'celery_test.settings')

from django.conf import settings

app = Celery('celery_test')

# Using a string here means the worker will not have to
# pickle the object when using Windows.
class Config:
    BROKER_URL = 'redis://1.1.1.3:6379'
    CELERY_RESULT_BACKEND = 'redis://1.1.1.3:6379'
    CELERY_ACCEPT_CONTENT = ['application/json']
    CELERY_TASK_SERIALIZER = 'json'
    CELERY_RESULT_SERIALIZER = 'json'
    CELERY_TIMEZONE = 'Asia/Shanghai'
    ENABLE_UTC = False
    CELERY_TASK_RESULT_EXPIRES = 60 * 60
    CELERY_ANNOTATIONS = {'*': {'rate_limit': '500/s'}}
    # 每次取任务的数量
    # CELERYD_PREFETCH_MULTIPLIER = 10
    # 每个worker执行多少次任务之后就销毁，防止内存泄漏。相当于--maxtasksperchild参数
    CELERYD_MAX_TASKS_PER_CHILD = 16
    # 防止死锁
    # CELERYD_FORCE_EXECV = True
    # 任务发出后，经过一段时间还未收到acknowledge , 就将任务重新交给其他worker执行
    # CELERY_DISABLE_RATE_LIMITS = True
    # CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler'


app.config_from_object(Config)
app.autodiscover_tasks()

#crontab config
app.conf.update(
    CELERYBEAT_SCHEDULE = {
        # 每隔三分钟执行一次add函数
        'every-3-min-add': {
            'task': 'app01.tasks.add',
            'schedule': timedelta(seconds=180)
        },
        # 每天下午15:420执行
        'add-every-day-morning@14:50': {
            'task': 'app01.tasks.minus',
            'schedule': crontab(hour=15, minute=20, day_of_week='*/1'),
        },
    },
)

Queue('transient', routing_key='transient',delivery_mode=1)

celery.py
# -*- coding: utf-8 -*-

from __future__ import absolute_import
import os
from celery import Celery
from celery.schedules import crontab
from datetime import timedelta
from kombu import Queue


# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'celery_test.settings')

from django.conf import settings

app = Celery('celery_test')

# Using a string here means the worker will not have to
# pickle the object when using Windows.
class Config:
    BROKER_URL = 'redis://1.1.1.3:6379'
    CELERY_RESULT_BACKEND = 'redis://1.1.1.3:6379'
    CELERY_ACCEPT_CONTENT = ['application/json']
    CELERY_TASK_SERIALIZER = 'json'
    CELERY_RESULT_SERIALIZER = 'json'
    CELERY_TIMEZONE = 'Asia/Shanghai'
    ENABLE_UTC = False
    CELERY_TASK_RESULT_EXPIRES = 60 * 60
    CELERY_ANNOTATIONS = {'*': {'rate_limit': '500/s'}}
    # 每次取任务的数量
    # CELERYD_PREFETCH_MULTIPLIER = 10
    # 每个worker执行多少次任务之后就销毁，防止内存泄漏。相当于--maxtasksperchild参数
    CELERYD_MAX_TASKS_PER_CHILD = 16
    # 防止死锁
    # CELERYD_FORCE_EXECV = True
    # 任务发出后，经过一段时间还未收到acknowledge , 就将任务重新交给其他worker执行
    # CELERY_DISABLE_RATE_LIMITS = True
    # CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler'


app.config_from_object(Config)
app.autodiscover_tasks()

#crontab config
app.conf.update(
    CELERYBEAT_SCHEDULE = {
        # 每隔三分钟执行一次add函数
        'every-3-min-add': {
            'task': 'app01.tasks.add',
            'schedule': timedelta(seconds=180)
        },
        # 每天下午15:420执行
        'add-every-day-morning@14:50': {
            'task': 'app01.tasks.minus',
            'schedule': crontab(hour=15, minute=20, day_of_week='*/1'),
        },
    },
)

Queue('transient', routing_key='transient',delivery_mode=1)

모든 앱에서 tasks.py를 만듭니다 (django는 각 앱에서이 작업 파일을 자동으로 찾습니다).

# tasks.py
# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals
from celery import shared_task

# 这里不再使用@app.task,而是用@shared_task，是指定可以在其他APP中也可以调用这个任务
@shared_task
def add():
   print 'app01.tasks.add'
   return 222 + 333

@shared_task
def minus():
   print 'app01.tasks.minus'
   return 222 - 333

프로젝트와 이름이 같은 디렉토리의 init.py 파일에 다음 컨텐츠를 추가하십시오.

# __init__.py
# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals

# 告诉Django在启动时别忘了检测我的celery文件
from .celery import app as celery_ap
__all__ = ['celery_app']

스크립트 시작 (셀러리 서비스를 여는 것을 잊지 마십시오)

장고 프로그램 시작

python manage.py runserver 0.0.0.0:8000

# service.sh
#!/usr/bin/env bash

source ../env/bin/activate

export DJANGO_SETTINGS_MODULE=celery_test.settings

base_dir=`pwd`
mup_pid() {
echo `ps -ef | grep -E "(manage.py)(.*):8000" | grep -v grep| awk '{print $2}'`
}
start() {
 python $base_dir/manage.py runserver 0.0.0.0:8000 &>> $base_dir/django.log 2>&1 &
 pid=$(mup_pid)
 echo -e "\e[00;31mmup is running (pid: $pid)\e[00m"
}

stop() {
 pid=$(mup_pid)
 echo -e "\e[00;31mmup is stop (pid: $pid)\e[00m"
 ps -ef | grep -E "(manage.py)(.*):8000" | grep -v grep| awk '{print $2}' | xargs kill -9 &> /dev/null

}

restart(){
    stop
    start
}

# See how we were called.
case "$1" in
  start)
        start
        ;;
  stop)
        stop
        ;;

  restart)
        restart
        ;;

  *)
        echo $"Usage: $0 {start|stop|restart}"
        exit 2
esac

셀러리 작업자 시작 : 각 기계는 8 명의 작업자를 시작할 수 있습니다.

celery -A celery_test worker -l info

# start-celery.sh
#!/bin/bash
source ../env/bin/activate
export C_FORCE_ROOT="true"
base_dir=`pwd`


celery_pid() {
    echo `ps -ef | grep -E "celery -A celery_test worker" | grep -v grep| awk '{print $2}'`
}
start() {
    celery  multi start celery_test -A celery_test -l debug --autoscale=50,5 --logfile=$base_dir/var/celery-%I.log --pidfile=celery_test.pid
}
restart() {
    celery  multi restart celery_test -A celery_test -l debug
}
stop() {
    celery  multi stop celery_test -A celery_test -l debug
}
#restart(){
#    stop
#    start
#}


# See how we were called.
case "$1" in
  start)
        start
        ;;
  restart)
        restart
        ;;
  stop)
        stop
        ;;
  *)
        echo $"Usage: $0 {start|stop|restart}"
        exit 2
esac

#nohup celery -A celery_test worker -l debug --concurrency=10 --autoreload  & >>celery.log

셀러리 예약 작업 실행 시작

celery -A celery_test beat -l debug

# celery-crond.sh
#!/bin/bash
#celery 定时任务运行
source ../env/bin/activate
export C_FORCE_ROOT="true"
base_dir=`pwd`


celery_pid() {
    echo `ps -ef | grep -E "celery -A celery_test beat" | grep -v grep| awk '{print $2}'`
}
start() {
    #django 调度定时任务
    #celery -A celery_test beat -l info -S django >> $base_dir/var/celery-cron.log 2>&1 &
    celery -A celery_test beat -l debug >> $base_dir/var/Scheduler.log 2>&1 &
    sleep 3
    pid=$(celery_pid)
    echo -e "\e[00;31mcelery is start (pid: $pid)\e[00m"
}
restart() {
    pid=$(celery_pid)
    echo -e "\e[00;31mcelery is restart (pid: $pid)\e[00m"
    ps auxf | grep -E "celery -A celery_test beat" | grep -v grep| awk '{print $2}' | xargs kill -HUP &> /dev/null
}
stop() {
    pid=$(celery_pid)
    echo -e "\e[00;31mcelery is stop (pid: $pid)\e[00m"
    ps -ef | grep -E "celery -A celery_test beat" | grep -v grep| awk '{print $2}' | xargs kill -TERM &> /dev/null
}


case "$1" in
  start)
        start
        ;;
  restart)
        restart
        ;;
  stop)
        stop
        ;;
  *)
        echo $"Usage: $0 {start|stop|restart}"
        exit 2
esac

Windows에서 작성된 스크립트 파일, 형식은 Linux에서 인식되지 않습니다.

Linux에서 .sh 스크립트 실행, 비정상 / bin / sh ^ M : 잘못된 인터프리터 : 해당 파일 또는 디렉토리 없음

ff = unix 설정

dos2unix start-celery.sh
dos2unix celery-crond.sh

일반적인 오류

'XXX'유형의 등록되지 않은 작업 수신 셀러리가 오류를보고합니다 (타이밍 작업에서 해당 tasks.py 파일을 찾을 수 없음).

app = Celery ( 'opwf', include = [ 'api_workflow.tasks']) # api_workflow이 앱의 작업 파일

블로그 참조 주소

추천

출처blog.csdn.net/weixin_47587864/article/details/108522693
추천
행
스트림을 사용하여 지정된 인덱스 순서로 정렬
직장에서 SDN 제 6 기계
C 언어 : int a = 322; printf ( "% c \ n", a); C 언어는 ascii 테이블의 범위를 초과하는 입력 문자를 어떻게 거세합니까?
Typora 원격 코드 실행 취약점
알고리즘 및 데이터 구조 - 알고리즘 설명
정적 팩토리 방법 및 빌더-제 2 장 객체 생성 및 제거-효과적인 Java 연구 노트 01
출시 맥 8.4를위한 비주얼 스튜디오 2019
파이썬 다중 처리) (관리자의 전역 변수를 공유
방법의 삽입 및 삭제의 전제하에 연속적으로 증가 테이블 ID를 달성하기 위해 (해결)?
多组学整合2连发，肠道研究新突破：人参残渣有大用
아카이브
기타
2020-04-08(1460)
2020-04-07(1517)
2020-04-06(1499)
2020-04-05(1440)
2020-04-04(1629)
2020-04-03(1644)
2020-04-02(1572)
2020-04-01(1665)
2020-03-31(1639)
2020-03-30(1334)

코드 세계

© 2018 codetd.com