最近项目用到一个好东西，分享给大家，简单，有效，这就是我的感受！先来个图
Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。
消息中间件
Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis, MongoDB (experimental), Amazon SQS (experimental),CouchDB (experimental), SQLAlchemy (experimental),Django ORM (experimental), IronMQ
最简单的当属Redis，5分钟内搭建好一个并发分布式框架！
任务执行单元
Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。
任务结果存储
Task result store用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP, Redis，memcached, MongoDB，SQLAlchemy, Django ORM，Apache Cassandra, IronCache
OK 直接来个立即能跑的demo吧。
0、安装celery/redis
#yum install redis #安装redis消息队列服务
#pip install celery #安装celery框架
#pip install redis #使用redis作为celery的broker时需要安装redis的python库(性能和RabbitMQ相当[erlang实现])
1、worker脚本tasks.py
from celery import Celery
import subprocess
brokers = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery('tasks', broker=brokers, backend=backend)
@app.task
def shell_popen(cmd):
proc = subprocess.Popen(cmd, shell=True) #stdout=subprocess.PIPE
return proc.pid
@app.task
def shell_check_output(cmd):
return subprocess.check_output(cmd, shell=True)
if __name__ == "__main__":
app.start()
2、任务创建脚本process.py
from tasks_proxy_requests import rpc_shell_popen
from tasks_proxy_requests import rpc_shell_check_output
cmd="ifconfig"
result = shell_check_output.delay(cmd)
while not result.ready():
time.sleep(0.01)
out= result.get()
print out
[root@mcuhome abin]#/usr/bin/celery -A tasks worker --loglevel=info -c 10 #创建10个worker并发，等待任务处理
[root@mcuhome abin]#./process.py #显示print out的结果
附：Celery异常处理
celery提示Missing redis library，安装升级python redis库
File "/usr/local/lib/python2.7/site-packages/kombu/connection.py", line 576, in create_transport
return self.get_transport_cls()(client=self)
File "/usr/local/lib/python2.7/site-packages/kombu/transport/redis.py", line 1009, in __init__
raise ImportError('Missing redis library (pip install redis)')
[root@mcuhome celery]# pip2.7 install redis --upgrade
Collecting redis
Downloading redis-2.10.6-py2.py3-none-any.whl (64kB)
100% |████████████████████████████████| 71kB 295kB/s
Installing collected packages: redis
Successfully installed redis-2.10.6
要想成为一个出色的程序员，请前往IT搜123 www.itso123.com了解，搜集各种必备网站的程序员导航。