Python_day18--分布式进程管理

一、分布式进程管理端

import random
from queue import Queue
from multiprocessing.managers import BaseManager

# 1. 创建任务队列和任务执行结果的队列
task_queue = Queue()
result_queue = Queue()


# 2. 将队列通过网络暴露出去，让其他主机可以访问到队列;
class QueueManager(BaseManager):
    pass


# 3. 将两个队列都注册到网络上,
QueueManager.register('get_task_queue', callable=lambda: task_queue)
QueueManager.register('get_result_queue', callable=lambda: result_queue)


#4. 绑定一个端口5001, 设置一个与其他主机共同直到的暗号/验证码;
#       0～65535
manager = QueueManager(address=('', 9999), authkey=b'westos')

# 5. 启动网络访队列的对象
manager.start()

# 6. 获取通过网络访问的对象
task = manager.get_task_queue()
result = manager.get_result_queue()



# 7. 放几个任务进去;
for i in range(100):
    n = random.randint(1, 1000)
    print('任务列表加入任务: %s' %(n))
    task.put(n)


# 8. 从result队列读取任务结果;
for j in range(100):
    r = result.get()
    print("队列任务的结果: %s" %(r))


# 8. 关闭
manager.shutdown()

二、分布式进程被管理端

import queue
from multiprocessing.managers import BaseManager
from queue import   Queue



# 1. 创建Queue
import time


class QueueManager(BaseManager):
    pass


# 2. 获取管理端共享出来的队列, 一定要跟管理端注册的名称相同
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')


# 3. 连接到服务器上
# server_addr = '172.25.254.250'
server_addr = '127.0.0.1'
print("正在连接服务端%s......." %(server_addr))


# 4. 端口号和密码一定要跟管理端保持一致;
m = QueueManager(address=(server_addr, 9999), authkey=b'westos')

# 5. 进行连接
m.connect()


# 6. 获取Queue对象
task = m.get_task_queue()
result = m.get_result_queue()



# 7. 读取管理端共享的任务:
for i in range(100):
    try:
        n = task.get()
        # 任务内容为对每个任务值求平方
        print('run task %d * %d....' %(n, n))
        time.sleep(1)
        r = '%d * %d = %d' %(n, n, n**2)
        # 将值型任务的结果放入结果队列中
        result.put(r)
    except queue.Empty:
        print('任务队列为空....')
print('值型结束!')