python3爬虫系列17之爬虫增速多进程，进程池的用法(白话解释)
1.前言
上一篇文章呢，
python3爬虫系列15之多线程爬取汽车之家批量下载图片，我们采用了多线程的方式来爬取，
在耗时环节呢，感觉并不是很快，才600多张图片花了近21秒。
至于原因呢，也在最后告诉了大家，
多线程下的 GIL 锁让python的多线程显得有点鸡肋， GIL锁 即全局排他锁，保护了数据安全性的同时，使得多线程提高效率的能力几乎丧失，在我们的多核CPU电脑上，Python 的多线程爬虫效率并不高。
所以想要充分利用 CPU，还是用多进程，这样我们就可以做到并行爬取，提高爬取的效率。
那么怎么创建进程呢？怎么创建多进程呢？怎么创建进程池呢？怎么并行爬取呢？
那还得从我们的搬砖说起。。。。
2.多进程—multiprocessing 模块的使用
python中，可以使用 multiprocessing 的模块 来实现多进程。
那还是以鼠标的工作为例。
2.1 使用 Process 类来创建进程
【任务：鼠标每天在工地搬砖，一天搬砖20块，每块1.5元，那么鼠标一天工资多少？】
让进程帮忙算算：
Process类也是属于multiprocessing 模块的一个方法。
# 使用 Process 类来创建进程
from multiprocessing import Process
import time
def job_time(name, delay, counter):
while counter<=20:
time.sleep(delay)
print("%s 搬%d块砖 %s" % (name,counter, time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())))
print('应得工资：', (counter * 1.5))
counter += 1
if __name__ == '__main__':
p = Process(target=job_time, args=('鼠标',1,1)) # 调用执行的方法和参数
p.start() # 启动进程
p.join() # 让进程执行完毕再结束
运行结果：
辛苦的鼠标一天搬砖挣30块钱~~~
使用 Process 类，就可以来创建进程，多组进程就使用 多条
p = Process(target=job_time, args=('鼠标',1,1)) # 调用执行的方法和参数
p2 = Process(target=job_time, args=('鼠标2',1,1)) # 调用执行的方法和参数
p3 = Process(target=job_time, args=('鼠标3',1,1)) # 调用执行的方法和参数
.....
语句，这样就形成多进程。
所以！
类比于线程，频繁的创建进程和销毁进程，也是要对浪费的，所以我们也有个管理的容器——线程池。
2.2 使用进程池Pool的方式来创建多进程
一个使用进程池multiprocessing.Pool来计算的小李子。。
# 使用进程池multiprocessing.Pool
from multiprocessing import Pool
import time
def func(fn):
# fn: 函数参数是数据列表的一个元素
time.sleep(0.5)
return fn * fn
if __name__ == '__main__':
with Pool(4) as p:
print(p.map(func, [1, 2, 3]))
运行结果：
这样貌似也看不出来什么，所以补充一下，进程的执行方式还分为顺序执行和并行执行。
2.3 多进程的 【顺序执行】 和 【并行执行】
创建多个进程，来并发 与 顺序 执行，处理同一个数据，看看所用时间的差别。
多线程的串行方式 和 并行方式对比：
# 使用进程池multiprocessing.Pool
from multiprocessing import Pool
import time
def func(fn):
# fn: 函数参数是数据列表的一个元素
time.sleep(0.5)
return fn * fn
if __name__ == "__main__":
testFL = [1, 2, 3, 4, 5, 6]
print('============order===========') # 顺序执行(也就是串行执行，单进程))
s = time.time()
for fn in testFL:
func(fn)
e1 = time.time()
print("顺序执行时间：", (e1 - s),'秒')
print(func(fn))
print('=========concurrent=========') # 创建多个进程，并行执行
pool = Pool(4) # 创建拥有5个进程数量的进程池
# testFL:要处理的数据列表，run：处理testFL列表中数据的函数
rl = pool.map(func, testFL)
pool.close() # 关闭进程池，不再接受新的进程
pool.join() # 主进程阻塞等待子进程的退出
e2 = time.time()
print("并行执行时间：", (e2 - e1),'秒')
print(rl)
程序中的r1表示全部进程执行结束后全局的返回结果集，run函数有返回值，所以一个进程对应一个
返回结果，这个结果存在一个列表中，也就是一个结果堆中，实际上是用了队列的原理，等待所有进
程都执行完毕，就返回这个列表（列表的顺序不定）。
对Pool对象调用join() 方法会等待所有子进程执行完毕，调用join() 之前必须先调用close()，让其不再接受新的Process了。
运行：
从结果可以看出，并发执行的时间 明显 比 顺序执行要 快很多，但是进程是要耗资源的，所以平时工作中，进程数也不能开太大。所以一般根据电脑 CPU 的内核数量，来创建相应的进程池。
根据电脑 CPU 的内核数量来创建相应的进程池进程数：
pool = multiprocessing.Pool(multiprocessing.cpu_count())
记得我们的进程数不需要大于内核数。
总结：在 Python 里面推荐使【用多进程】而【不用多线程】吧。
你会发现速度翻了好几番了, 当然，下一次可以去爬取数据量大一些的数据，这样对比会更加明显一些。
通过例子来解释用法，是最好的方式了，我没有复制很多百度百科的解说语，当然也没有涉及非常全面和深的知识。我们只需要学会怎么把自己的爬虫代码改为多进程的方式就可以了。（解释都在代码里。）
下一篇，多进程爬虫实战。
( ^_ ^ )/~~拜拜
