scrapy 图片下载管道以及文件下载管道

1.图片下载管道：

获取指定的图片链接：

imgSrc = ul.xpath('.//img/@src2').extract()[0]

item['imgSrc'] = [imgSrc]

yield item

进入settings.py 里面，进行如下操作 ：

ITEM_PIPELINES = {
   # 'imageNet.pipelines.ImagenetPipeline': 300,
   #  scrapy中专门负责图片下载的管道
    'scrapy.pipelines.images.ImagesPipeline':1
}
# 图片的存储路径
IMAGES_STORE = 'imageDownLoad'
# 图片的下载地址 根据item中的字段来设置哪一个内容需要被下载
IMAGES_URLS_FIELD = 'src'

2.小说下载管道：

找到指定的小说的下载链接，进行如下操作：

        # 获取小说的下载地址、
 downloadUrl=response.xpath('//div[@class="showDown"]/ul/li[3]/script').extract_first('').split(',')[1].strip("'")
 print(downloadUrl)

 item['downloadUrl'] = [downloadUrl]

 yield item

 进入settings.py：

ITEM_PIPELINES = {
   'qishu.pipelines.QishuPipeline': 300,
    # 文件下载管道
    'scrapy.pipelines.files.FilesPipeline':1
}

FILES_STORE = 'file/book'
FILES_URLS_FIELD = 'downloadUrl'