使用scrapy框架爬取带反盗链网站的图片

1、以趣图网为例，首先复制趣图的图片的地址发现图片无法打开，每个图片打开都变成了如下图所示：

出现上述情况的原因则是因为该网站采用了防盗链，为了防止爬虫，可是解决方法还是有的，下面介绍了解决这种情况的方式：

2、spider代码如下：

# -*- coding: utf-8 -*-
import scrapy
from myproject.items import QutuprojectItem
import os

class QutuSpider(scrapy.Spider):
    name = 'qutu'
    allowed_domains = ['www.gushiking.com']
    start_urls = ['http://www.gushiking.com/']
    #http://www.gushiking.com/
    #http://www.gushiking.com/new/p2.htm
    #http://www.gushiking.com/new/p3.htm
    url = 'http://www.gushiking.com/new/p{}.htm'
    page = 1
    #解析网页，提取图片
    def parse(self, response):
        #找到包括图片信息的p标签
        pic_p = response.xpath('//div[@class="pic"]/div[@class="conimg"]')
        for op in pic_p:
            item = QutuprojectItem()
            #获取图片的标题
            item["name"] = op.xpath("./p//img/@alt").extract_first()
            #获取图片的链接
            item["image_url"] = op.xpath("./p//img/@src").extract_first()
            yield item
            #下载图片
            yield scrapy.Request(url=item["image_url"],callback=self.download)
        if self.page < 6:
            self.page += 1
            url = self.url.format(self.page)
            yield scrapy.Request(url,callback=self.download)
    #下载图片的函数，referer会自动添加
    def download(self,response):
        #保存图片的地址
        dirpath = r'F:\爬虫项目\qutu'
        #获取请求的url
        image_url = response.url
        #获取图片的名字
        image_name = os.path.basename(image_url)
        #获取图片的路径
        image_path = os.path.join(dirpath,image_name)
        #下载图片
        with open(image_path,'wb') as fp:
            fp.write(response.body)