セロリの簡単には説明とDjango内に配置されました

その他 2019-11-20 13:31:14 訪問数: null

セロリ

1. Cleleryとは何ですか

セロリは単純で、柔軟で信頼性の高い、分散システムは、大規模なメッセージを処理します

非同期タスクキューのリアルタイム処理に焦点を当て

また、タスクのスケジューリングをサポートしています

セロリのアーキテクチャ

セロリ・アーキテクチャは、3つの部分、ミドルウェアメッセージ（メッセージブローカ）、タスク実行部（作業者）とタスク実行結果格納（タスク結果ストア）組成物から成ります。

メッセージングミドルウェア

セロリは、メッセージングサービスを提供していませんが、簡単に、第三者が提供するミドルウェア統合メッセージングすることができます。など、RabbitMQの、Redisの、含みます

タスクの実行ユニット

作業者の作業は作業者が分散並行システム・ノードで動作し、セロリ部が設けられている行います。

タスクの結果が保存されています

ストアタスクの実行ワーカー結果にタスク結果ストアなどAMQP、Redisの、などの店舗のタスクに異なる方法で、セロリのサポート結果

バージョンのサポート

Celery version 4.0 runs on
        Python ❨2.7, 3.4, 3.5❩
        PyPy ❨5.4, 5.5❩
    This is the last version to support Python 2.7, and from the next version (Celery 5.x) Python 3.5 or newer is required.

    If you’re running an older version of Python, you need to be running an older version of Celery:

        Python 2.6: Celery series 3.1 or earlier.
        Python 2.5: Celery series 3.0 or earlier.
        Python 2.4 was Celery series 2.2 or earlier.

    Celery is a project with minimal funding, so we don’t support Microsoft Windows. Please don’t open any issues related to that platform.

2.シーンを使用してください

非同期タスク：非同期実行セロリに時間のかかる操作を提出するタスク、などSMS /電子メール、プッシュメッセージング、音声およびビデオ処理を、送信など

定期的なタスク：何かの実施時期は、そのような統計の日など

3.Celeryのインストールと設定

ピップセロリをインストール

メッセージングミドルウェア：RabbitMQの/ Redisの

アプリ=セロリ（ 'タスク名'、バックエンド= 'XXX'、ブローカー= 'XXX'）

非同期タスクを実行4.Celery

基本的な使用

プロジェクトcelerytestを作成します。

celery_app_task.py：PYファイルの作成

import celery
import time
# broker='redis://127.0.0.1:6379/2' 不加密码
backend='redis://:[email protected]:6379/1'
broker='redis://:[email protected]:6379/2'
cel=celery.Celery('test',backend=backend,broker=broker)
@cel.task
def add(x,y):
    return x+y

PYファイルの作成：add_task.pyを、タスクを追加

from celery_app_task import add
result = add.delay(4,5)
print(result.id)

PYファイルの作成：run.pyを、タスクを実行する、またはコマンドを使用します：セロリの労働者の-A celery_app_task -l情報

注：窓下：セロリワーカーの-A celery_app_task -l情報-P eventlet

from celery_app_task import cel
if __name__ == '__main__':
    cel.worker_main()
    # cel.worker_main(argv=['--loglevel=info')

result.py、ビューのタスクの実行結果：PYファイルの作成

from celery.result import AsyncResult
from celery_app_task import cel

async = AsyncResult(id="e919d97d-2938-4d0f-9265-fd8237dc2aa3", app=cel)

if async.successful():
    result = async.get()
    print(result)
    # result.forget() # 将结果删除
elif async.failed():
    print('执行失败')
elif async.status == 'PENDING':
    print('任务等待中被执行')
elif async.status == 'RETRY':
    print('任务异常后正在重试')
elif async.status == 'STARTED':
    print('任务已经开始被执行')

実行add_task.pyは、タスクを追加し、タスクIDを取得します

run.pyの実行、またはコマンドを実行します。セロリワーカーの-A celery_app_task -l情報

実行result.py、チェックジョブステータスと結果を得ます

マルチタスク構造

pro_cel
    ├── celery_task# celery相关文件夹
    │   ├── celery.py   # celery连接和配置相关文件,必须叫这个名字
    │   └── tasks1.py    #  所有任务函数
    │   └── tasks2.py    #  所有任务函数
    ├── check_result.py # 检查结果
    └── send_task.py    # 触发任务

celery.py

from celery import Celery

cel = Celery('celery_demo',
             broker='redis://127.0.0.1:6379/1',
             backend='redis://127.0.0.1:6379/2',
             # 包含以下两个任务文件，去相应的py文件中找任务，对多个任务做分类
             include=['celery_task.tasks1',
                      'celery_task.tasks2'
                      ])

# 时区
cel.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
cel.conf.enable_utc = False

tasks1.py

import time
from celery_task.celery import cel

@cel.task
def test_celery(res):
    time.sleep(5)
    return "test_celery任务结果:%s"%res

tasks2.py

import time
from celery_task.celery import cel
@cel.task
def test_celery2(res):
    time.sleep(5)
    return "test_celery2任务结果:%s"%res

check_result.py

from celery.result import AsyncResult
from celery_task.celery import cel

async = AsyncResult(id="08eb2778-24e1-44e4-a54b-56990b3519ef", app=cel)

if async.successful():
    result = async.get()
    print(result)
    # result.forget() # 将结果删除,执行完成，结果不会自动删除
    # async.revoke(terminate=True)  # 无论现在是什么时候，都要终止
    # async.revoke(terminate=False) # 如果任务还没有开始执行呢，那么就可以终止。
elif async.failed():
    print('执行失败')
elif async.status == 'PENDING':
    print('任务等待中被执行')
elif async.status == 'RETRY':
    print('任务异常后正在重试')
elif async.status == 'STARTED':
    print('任务已经开始被执行')

send_task.py

from celery_task.tasks1 import test_celery
from celery_task.tasks2 import test_celery2

# 立即告知celery去执行test_celery任务，并传入一个参数
result = test_celery.delay('第一个的执行')
print(result.id)
result = test_celery2.delay('第二个的执行')
print(result.id)

タスク（実行send_task.py）、オープン作品を追加：セロリの労働者の-A celery_task -l情報-Pのeventlet、タスクの実行結果（実行check_result.py）をチェック

定期的なタスクを実行5.Celery

セロリは、タスクを実行するための設定時間

add_task.py

from celery_app_task import add
from datetime import datetime

# 方式一
# v1 = datetime(2019, 2, 13, 18, 19, 56)
# print(v1)
# v2 = datetime.utcfromtimestamp(v1.timestamp())
# print(v2)
# result = add.apply_async(args=[1, 3], eta=v2)
# print(result.id)

# 方式二
ctime = datetime.now()
# 默认用utc时间
utc_ctime = datetime.utcfromtimestamp(ctime.timestamp())
from datetime import timedelta
time_delay = timedelta(seconds=10)
task_time = utc_ctime + time_delay

# 使用apply_async并设定时间
result = add.apply_async(args=[4, 3], eta=task_time)
print(result.id)

contabの定期的なタスクと同様に

次のようにマルチタスク構造celery.pyは、改正しました

from datetime import timedelta
from celery import Celery
from celery.schedules import crontab

cel = Celery('tasks', broker='redis://127.0.0.1:6379/1', backend='redis://127.0.0.1:6379/2', include=[
    'celery_task.tasks1',
    'celery_task.tasks2',
])
cel.conf.timezone = 'Asia/Shanghai'
cel.conf.enable_utc = False

cel.conf.beat_schedule = {
    # 名字随意命名
    'add-every-10-seconds': {
        # 执行tasks1下的test_celery函数
        'task': 'celery_task.tasks1.test_celery',
        # 每隔2秒执行一次
        # 'schedule': 1.0,
        # 'schedule': crontab(minute="*/1"),
        'schedule': timedelta(seconds=2),
        # 传递参数
        'args': ('test',)
    },
    # 'add-every-12-seconds': {
    #     'task': 'celery_task.tasks1.test_celery',
    #     每年4月11号，8点42分执行
    #     'schedule': crontab(minute=42, hour=8, day_of_month=11, month_of_year=4),
    #     'schedule': crontab(minute=42, hour=8, day_of_month=11, month_of_year=4),
    #     'args': (16, 16)
    # },
}

セロリビートの-A celery_task -l情報：ビートを開始

スタート作業の実行：セロリワーカーの-A celery_task -l情報-P eventlet

6.Django利用セロリ

Celeryconfig.pyは、プロジェクトディレクトリの下に作成しました

import djcelery
djcelery.setup_loader()
CELERY_IMPORTS=(
    'app01.tasks',
)
#有些情况可以防止死锁
CELERYD_FORCE_EXECV=True
# 设置并发worker数量
CELERYD_CONCURRENCY=4
#允许重试
CELERY_ACKS_LATE=True
# 每个worker最多执行100个任务被销毁，可以防止内存泄漏
CELERYD_MAX_TASKS_PER_CHILD=100
# 超时时间
CELERYD_TASK_TIME_LIMIT=12*30

app01ディレクトリに作成tasks.pyで

from celery import task
@task
def add(a,b):
    with open('a.text', 'a', encoding='utf-8') as f:
        f.write('a')
    print(a+b)

ビュー機能views.py

from django.shortcuts import render,HttpResponse
from app01.tasks import add
from datetime import datetime
def test(request):
    # result=add.delay(2,3)
    ctime = datetime.now()
    # 默认用utc时间
    utc_ctime = datetime.utcfromtimestamp(ctime.timestamp())
    from datetime import timedelta
    time_delay = timedelta(seconds=5)
    task_time = utc_ctime + time_delay
    result = add.apply_async(args=[4, 3], eta=task_time)
    print(result.id)
    return HttpResponse('ok')

settings.py

INSTALLED_APPS = [
    ...
    'djcelery',
    'app01'
]

...

from djagocele import celeryconfig
BROKER_BACKEND='redis'
BOOKER_URL='redis://127.0.0.1:6379/1'
CELERY_RESULT_BACKEND='redis://127.0.0.1:6379/2'

おすすめ

転載: www.cnblogs.com/liuhuan086/p/11896940.html
おすすめ
ランキング
OpenCV.Scharr梯度
Baiduのウェブサイトの共有プラグインを追加します。
マスターキーの顧客の過去の使用状況を確認
Python データ分析 - pandas ライブラリを使ってみる
需求分析 序章
Linuxの一般的なコマンドのレコード番号
VARの違い、3つのconstをしましょう
ワイドアイスIオフ
ゼロ計数期間にXOR（クロス）
matlab/python を使用して二重閾値法のエンドポイント検出を実行する
アーカイブ
もっと
2024-05-05(0)
2024-05-04(18)
2024-05-03(8)
2024-05-02(0)
2024-05-01(4)
2024-04-30(35)
2024-04-29(5)
2024-04-28(12)
2024-04-27(29)
2024-04-26(22)

コードワールド

© 2018 codetd.com