[Python爬虫]爬虫实例:爬取PEXELS图片---修改为多进程爬虫

第二次修改的地址---->爬虫实例:爬取PEXELS图片—解决异步加载问题
在前面的修改中,我们通过使用逆向工程成功解决了异步加载的问题.但同时还有一个问题:效率问题,受限于网速,假如使用单进程下载图片时下载的速度没有占满,而使用多个进程时下载速度能够占满的话,那么多进程爬虫在爬取图片就具有更高的爬取效率.
但是,一个更直接体现出多进程爬虫效率的测试是,我们只爬取图片的下载链接而不进行下载,这样就网速的影响就不会太大了.

Python的多线程和多进程

大家可能都听过一点就是:python的多线程在同一时刻只会有一条线程跑在CPU里面，其他线程都在睡觉。这是真的,至于问为什么的话百度即可.
但是多进程就不同了,Python提高运行效率的方法是多进程.同一时刻,只有一个进程会被CPU调度,这就是单进程爬虫,但是通过使用multiprocessing库,对于多核CPU,就可以轻松地转换为多进程爬虫并发执行多个爬虫,也就是一个核可以跑一个爬虫.

爬虫测试

import requests
import re
import time
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                  'AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/67.0.3396.79 Safari/537.36'
}
def pic_scratch(url):
    res = requests.get(url, headers)
    links = re.findall('<a href=\"(.*)\" download>', res.text)

使用单进程爬虫时:

if __name__ == '__main__':
    start_time = time.time()
    urls = ['https://www.pexels.com/search/cat/?page=={}'.format(i) for i in range(1, 26)]
    for url in urls:
        pic_scratch(url)
    end_time = time.time()
    print("总用时:", end_time - start_time)

在这里插入图片描述
使用多进程爬虫时:(4个进程)

if __name__ == '__main__':
    start_time = time.time()
    urls = ['https://www.pexels.com/search/cat/?page=={}'.format(i) for i in range(1, 26)]
    pool = Pool(processes=4)
    pool.map(pic_scratch, urls)
    end_time = time.time()
    print("总用时:", end_time - start_time)

在这里插入图片描述
可见多进程对爬取速度的提升是非常可观.
但是如果不仅爬取链接并且要下载的话,爬虫完成的速度就要取决于自己的网速了…
最后贴一下完整代码…

爬虫代码

import requests
import re
import time
from multiprocessing import Pool

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                  'AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/67.0.3396.79 Safari/537.36'
}


def pic_scratch(url):
    res = requests.get(url, headers)
    links = re.findall('<a href=\"(.*)\" download>', res.text)
    for link in links:
        pic = requests.get(link, headers)
        pic_name = re.search('(?<=dl=).*\.jpg', link).group()
    with open('d:/cat/' + pic_name, 'wb') as pf:
        pf.write(pic.content)
    print("完成图片下载:" + pic_name)


if __name__ == '__main__':
    start_time = time.time()
    urls = ['https://www.pexels.com/search/cat/?page=={}'.format(i) for i in range(1, 26)]
    pool = Pool(processes=4)
    pool.map(pic_scratch, urls)
    end_time = time.time()
    print("总用时:", end_time - start_time)