使用scrapy框架爬取网页图片——详解

前言：使用scrapy框架爬取网页图片，并做持久化存储！使用scrapy做图片存储必须先下载 Pillow 库

安装方法：pip install Pillow

目标网址：https://sc.chinaz.com/tupian/huaxuetupian.html

spider爬虫对象源码：

import scrapy
from imgsPro.items import ImgsproItem
import time

class ImgsSpider(scrapy.Spider):
    # 爬虫文件名，运行文件的时候就是使用该名字
    name = 'imgs'
    # 允许请求的url，建议直接注释掉
    # allowed_domains = ['www.sc.chinaz.com.com']
    # 目标url
    start_urls = ['https://sc.chinaz.com/tupian/huaxuetupian.html']

    # scrapy自带的请求解析方法
    def parse(self, response):
        # 使用xpath匹配所有的图片页面url与名称
        tree = response.xpath('//div[@id="container"]/div')
        # 匹配img_page (href)
        img_page_url=tree.xpath('./div/a/@href').extract()
        # 匹配图片名称（alt）
        imgalt=tree.xpath('./div/a/@alt').extract()
        # 使用for循环遍历向每一页的图片url发送请求：
        for page,alt in zip(img_page_url,imgalt):
            # 拼接url（爬取的url很多都不是完整的！）
            page = 'https:' + page
            # print(page)
            # print(alt)
            # 实例化item对象（item就是一个空字典）
            item = ImgsproItem()
            # 将爬取到的值以字典形式存储到item中！
            item['alt'] =alt
            # print(item)
            # 单独向每个img_page_url发送请求：
            time.sleep(0.6)
            yield scrapy.Request(url=page, callback=self.imgs_parse,meta={'item':item})
    # 自定义的请求解析方法
    def imgs_parse(self,response):
        # 接收item（因为item是在parse方法中定义的所以需要在自定义方法imgs_parse接收！）
        item = response.meta['item']
        # print(item)
        # print(response.text)
        time.sleep(1.7)
        # 使用xpath解析图片页中的图片url（.extract_first()表示提取列表中的第一个值）
        img_url = response.xpath('//div[@class="imga"]/a/@href').extract_first()
        img_url = 'https:' + img_url # 拼接url
        item['img_url']=img_url  # j将获取到的url存储到item中方便提交给管道！
        # print(img_url) 
        yield item # 将图片名称跟图片的url通过item提交给管道做解析并存储！

item对象源码：

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class ImgsproItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 定义爬虫文件中封装在item对象中的对象（atl是图片名称，img_url是图片地址）
    alt = scrapy.Field()
    img_url = scrapy.Field()
    pass

pilines管道对象源码：

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
#下面的语句都是需要自己定义
#导入ImagesPipelin管道类（处理图片数据的！）
from scrapy.pipelines.images import ImagesPipeline
import time
import scrapy #导入scrapy（必须）
# 创建一个图片管道类
class ImgsproPipeline(ImagesPipeline):
    print('正在初始化img管道对象')

    #图片url请求方法：
    def get_media_requests(self, item, info):
        # print(item)
        # 手动发送requsts请求
        time.sleep(1.26)
        # print(item['img_url'])
        # print(item['alt'])
        # 向item中的图片url发送请求！（item是一个dict）
        yield scrapy.Request(url=item['img_url'])

    # 定义图片名称及路径：
    def file_path(self, request, response=None, info=None, *, item):
        # 定义图片存储名称
        imgName=request.url.split('/')[-1]
        print(f'正在下载：{imgName}')
        # 返回图片名称，写入到指定目录文件中
        return imgName
    def item_completed(self, results, item, info):
        # 返回item给下一个管道对象
        return item
    # 自定义一个__del__方法（方便最后执行！）
    def __del__(self):
        print('已全部下完毕！')

seting文件中的设置：

【adi：IMAGES_STORE = '图片存储路径'  该参数需要自己手动添加！图片路径中不包含图片名称！】

以上就是crapy爬取图片的全部内容！