多进程与多线程使用注意事项

　　当用Queue进行通信的时候，如果put进queue的时候有延迟，而get方法一直在运行的时候，如果用了while queue.qsize()!=0:来运行get则可能会出现put还没来得及进入，get就已经去Queue中取数据，所以queue.qsize()==0，导致退出循环了，这样后面再put进入的数据也取不到的。于是需要注意解析网页的时候，可以用解析列表页的url放入队列，由于列表页url一次性可以解析多个，肯定比解析详情页的方法要快。

import time
from multiprocessing import Process, Queue, Manager
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
import os
# from queue import Queue
def put(queue):
    for i in range(50): queue.put(i) time.sleep(1) # 此处当put方法等待之后，还没来得及put进入队列，队列就空了（数据已经被其他进程取完了）所以进程就退出了，在put进入的数据都取不到的。 print(queue.qsize()) def get(queue): while queue.qsize()!=0: s = queue.get() print('get %s :%s' % (s, os.getpid())) print('i finished') # if __name__ == '__main__': queue = Manager().Queue(maxsize=20) executor = ProcessPoolExecutor(max_workers=5) task1 = executor.submit(put, queue) task2 = executor.submit(get, queue) task3 = executor.submit(get, queue) task4 = executor.submit(get, queue) task5 = executor.submit(get, queue) 结果： get 0 :5392 i finished i finished i finished i finished