项目需求:爬取百度阅读的榜单图书的信息,如:书名、评分、作者、出版方、标签、价格,生成一个csv文件。
爬取起始网站:https://yuedu.baidu.com/rank/hotsale?pn=0
项目的大致流程:创建spider工程项目,创建spider爬虫,定义相关字段,分析页面信息......
由于scpapy框架,之间存在相互联系,针对此项目不同的文件需要进行相关的项目,一下通过代码简单介绍。
先看spider代码:
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractor import LinkExtractor
from ..items import BookItem
class Top200Spider(scrapy.Spider):
name = 'top200'
allowed_domains = ['yuedu.baidu.com']
start_urls = ['https://yuedu.baidu.com/rank/hotsale?pn=0']
#解析书籍数据列表
def parse(self, response):
#提取每一本书籍页面的链接
le = LinkExtractor(restrict_css='a.al.title-link')
for link in le.extract_links(response):
yield scrapy.Request(link.url,callback=self.parse_book)
#提取下一页列表的链接
url = response.css('div.pager a.next::attr(href)').extract_first()
#判断是否存在下一页
if url:
url = response.urljoin(url)
yield scrapy.Request(url,callback=self.parse)
def parse_book(self,response):
sel = response.css('div.content-block')
item = BookItem()
#书名
item['name'] = sel.css('h1.book-title::attr(title)').extract_first()
#评分
item['rating'] = sel.css('div.doc-info-score span.doc-info-score-value::text').extract_first()
#作者
item['authors'] = sel.css('ul.doc-info-org li.doc-info-author a::text').extract_first()
#版权方
item['publisher'] = sel.css('ul li').xpath('.//span[contains(string(.),"版权方")]/../a/text()').extract_first()
#标签
item['tags'] = sel.css('div.content a::attr(title)').extract()
#价格
item['price'] = sel.css('div.price-info span.numeric::text').extract()
yield item
注意点:Item类需要导入,在Items文件中进行字段的定义,见代码:
import scrapy
class BookItem(scrapy.Item):
# define the fields for your item here like:
name = scrapy.Field()
rating = scrapy.Field()
authors = scrapy.Field()
publisher = scrapy.Field()
tags = scrapy.Field()
price = scrapy.Field()
注意:在爬取网站前,先到shell中进行测试,看通过选择器能不能获取字段信息。还需要在setting文件中进行相关的设置,因为好多网站设有反爬虫技术,所以我们可以先访问robots.txt 文件,查看允许爬取的内容。在setting中设置,见代码:
USER_AGENT = 'Baiduspider' # 更改robots文件能够访问的请求头
最后,运行爬虫:生成books.csv文件。
scrapy crawl top200 -o books.csv