Python3多线程

写一个多线程爬虫的时候,报错。

后来发现:

url_manage_proc = Process(spider.url_manage_proc, args=(urls,))
download_html_proc = Process(spider.download_html_proc)
parser_html_proc = Process(spider.parser_html_proc)
store_data_proc = Process(spider.store_data_proc)

改成这个就好了

url_manage_proc = Process(target=spider.url_manage_proc, args=(urls,))
download_html_proc = Process(target=spider.download_html_proc)
parser_html_proc = Process(target=spider.parser_html_proc)
store_data_proc = Process(target=spider.store_data_proc)

猜你喜欢

转载自blog.csdn.net/Blazar1/article/details/84715632