Python学习笔记之分布式进程任务管理器

一、概念：

我们使用多进程去完成多个任务时会使得我们的工作效率大大提升，这都是在同一台电脑上执行的，毕竟一台计算机的资源是有限的，但是当我们将多台计算机使用网络协议同时去处理多个相关联任务时，我们可用的资源几乎是无限的。因此我们出现了分布式进程管理。

python中我们前面学习了使用multiprocessing模块来创建与管理多进程，同样在这个模块里面有一个BaseManger的类可以实现通过网络来管理多台电脑的进程管理。当然我们在依靠网络通信将多个任务分配给不同的计算机完成时，总的分为两个部分：服务端和客户端。服务端，用于任务的发布、通信队列的创建等；客户端用于完成服务端分配的任务，并将结果放入通信队列。

二、代码实现

1、服务端代码

import random
from queue import Queue
from multiprocessing.managers import BaseManager

#1 创建任务队列和任务执行节果队列
task_queue = Queue()
result_queue = Queue()

#2 将队列通过网络暴露出去，让其他主机可以访问到
BaseManager.register('get_task_queue',callable= lambda : task_queue )
BaseManager.register('get_result_queue',callable=lambda :result_queue)

#3 绑定一个端口(0~65535)设置一个与其他主机相通的验证码；
manager = BaseManager(address=('192.168.0.9',5111),authkey=b'123456')

#4启动网络队列对象
manager.start()

#5获取通过网络访问的对象
task = manager.get_task_queue()
result = manager.get_result_queue()

#6 放几个任务进去:对一个1到1000的堆积数求平方
for i in range(10):
    n = random.randint(1,1000)
    print('任务列表加入任务：%s'%(n))
    task.put(n)

#7 从result队列中读取任务处理的结果
for j in range(10):
    r = result.get(20)  #等待20s
    print('队列任务的结果：%s'%(r))

#8、关闭服务器
manager.shutdown()

2、客户端代码

import queue
from multiprocessing.managers import BaseManager
from queue import Queue
import time

#1 获取管理端共享出来的队列，一定要跟管理端注册的名称相同
BaseManager.register('get_task_queue')
BaseManager.register('get_result_queue')

#2 连接到服务端上
server_addr = '192.168.0.9'
print('正在连接服务器端%s....'%(server_addr))

#3 端口号和密码一定要跟管理端保持一致
m = BaseManager(address=(server_addr,5111),authkey=b'123456')
#4 连接
m.connect()
#5 获取Queue
task = m.get_task_queue()
result = m.get_result_queue()

#6、读取管理端的共享任务
for i in range(10):
    try:
        n = task.get()
        #任务内容：对每个任务值求取平方
        print('run task %d * %d....'%(n,n))
        time.sleep(1)
        r = '%d * %d = %d'%(n,n,n*n)
        result.put(r)
    except queue.Empty as Eorr:
        print('任务队列为空 ....',Eorr)
print('执行结束')

提示：

服务端，我们给客户端分配的任务是将一个1到1000的随机值求平方，并返回。运行时需要先运行服务端代码，在运行客户端代码