共有キューを達成するためのマルチプロセッシングキュー・プロセスを使用してのpython 2.7

爬虫類の機能を実装するには、マルチプロセス機能が有効になっているが、一般的なキューは都市に、各プロセスのコピーを渡された、誰もがモジュール自体は多くの種類のを提供し、マルチプロセッシング、問い合わせの後、変数を共有しましたその上の値、辞書、リスト、キューを含む共有変数、。本論文では、キューのサンプルコードを記録します。

#!/usr/bin/env python
# *_coding:utf-8_*_

from multiprocessing import Process, Lock, Queue
import os


# multiprocessing.Queue 是线程安全的，不需要使用lock机制
def foo(lock, process_queue):
	# 打印当前进程id，打印队列头
    print os.getpid(), process_queue.get()
    # 将自己的进程id插入队列，其他进程访问队列时可以获取到的话说明队列已经共享
    process_queue.put(os.getpid())
    pass


def test():
    processes = []
    process_queue = Queue()
    lock = Lock()
    process_queue.put(1)
    for i in range(10):
        p = Process(target=foo, name=str(i), args=(lock, process_queue, ))
        p.start()
        processes.append(p)
    for p in processes:
        p.join()
    pass


if __name__ == '__main__':
    test()

出力

13996 1
8756 13996
12364 8756
4488 12364
5596 4488
5284 5596
3028 5284
3432 3028
8732 3432
8456 8732