python3.6多线程的爬虫应用--玉米都督

未完待续

multiprocessing.dummy

Python中线程multiprocessing模块与进程使用的同一模块。使用方法也基本相同，唯一不同的是，from multiprocessing import Pool这样导入的Pool表示的是进程池； 

from multiprocessing.dummy import Pool这样导入的Pool表示的是线程池。这样就可以实现线程里面的并发了。

import time
from multiprocessing.dummy import Pool as ThreadPool
#给线程池取一个别名ThreadPool
def run(fn):
  time.sleep(2)
  print fn

if __name__ == '__main__':
  testFL = [1,2,3,4,5,6,7,8]
  pool = ThreadPool(5)#创建5个容量的线程池并发执行
  pool.map(run, testFL)
  pool.close()
  pool.join()

执行之后输出

可以看到先输出了5个数字,最后再输出剩余3个数字....

接下来咱们应用到爬虫上来说把