本篇博文将介绍如何搭建爬虫项目实现目录页的数据爬取，并对每个目录标题下的url进行跟进，进入该url爬取该页面的详情内容。最后把结果保存为本地json文件或者csv文件。详细的项目搭建操作已经在前面博文中提及了，可以参考：
https://blog.csdn.net/fallwind_of_july/article/details/97246577
文章非常适合有入门基础的小伙伴们一起学习和研究，我的其他博文也有从零开始学习使用scrapy框架的过程。该项目经过实测验证，代码可以成功运行。文章最后给出github免费的源码下载地址，小伙伴下载下来看着源码分析一下就会很清楚了。
本篇博文是在上一篇的基础上搭建的，上一篇已经成功爬取公到了链接：
https://blog.csdn.net/fallwind_of_july/article/details/97391822
.
一、爬取目标网站：
http://www.gz.gov.cn/gzgov/snzc/common_list.shtml
.
二、爬取目标信息：
我们将要爬取公告的标题，时间以及链接，以及每个标题下的详情内容，如下图所示：
公告标题：
标题详情页：
三、网页分析：
用谷歌浏览器和xpath Helper插件，F12键来分析源代码
公告标题：
标题详情页：
对于目录页面：可以看出我们需要的名字、时间、链接对应的xpath分别是：
//ul[@class='news_list']/li/a
//ul[@class='news_list']/li/span
//ul[@class='news_list']/li/a/@href
对于详情页面：可以看出我们需要的详情内容的xpath是：
//div[@class=‘content_article’]/p
四、爬取文件代码
我们只需要修改四个文件即可，分别是items.py;pipelines.py;settings.py;爬虫文件govmenu.py
1.items.py文件
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class GzgovItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
#pass
name = scrapy.Field()
time = scrapy.Field()
link = scrapy.Field()
class DetailsItem(scrapy.Item):
detail = scrapy.Field()
以上文件定义我们获取信息的字段；将详情页提取到的数据另外保存到一个文件中，因此另写一个类。
.
2.pipelines.py
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
from Gzgov.items import GzgovItem,DetailsItem
import json
class GzgovPipeline(object):
def __init__(self):
#self.f = open("gzgovment.json","w")
self.f = open("title.json","w")
self.file_detail = open("detail.json","w")
def process_item(self, item, spider):
content = json.dumps(dict(item),ensure_ascii=False)
if isinstance(item,GzgovItem):
self.f.write(content + ',\n')
if isinstance(item,DetailsItem):
self.file_detail.write(content + ',\n')
return item
def close_spider(self,spider):
self.f.close()
self.file_detail.close()
以上文件定义我们保持数据的格式，写到本地文件中。可以看到我们打开了两个文件来保存数据，并通过if isinstance来判断数据来源于哪里（是哪个类的实例），然后写入对应的文件。
.
3.settings.py
1.文件中下面的True改为False
ROBOTSTXT_OBEY = False
2.取消67行左右的注释，得到
ITEM_PIPELINES = {
'Gzgov.pipelines.GzgovPipeline': 300,
}
以上文件为配置文件
.
4.我们的爬虫文件govmenu.py
爬虫文件名字自定义，在spiders目录下
# -*- coding: utf-8 -*-
import scrapy
from Gzgov.items import GzgovItem,DetailsItem
#from scrapy.http import Request
class GovmenuSpider(scrapy.Spider):
name = 'govmenu'
allowed_domains = ['gz.gov.cn']
#start_urls = ['http://www.gz.gov.cn/gzgov/snzc/common_list.shtml']
baseURL = "http://www.gz.gov.cn/gzgov/snzc/common_list_"
offset = 1
end = ".shtml"
start_urls = ["http://www.gz.gov.cn/gzgov/snzc/common_list.shtml"]
def parse(self, response):
node_list = response.xpath("//ul[@class='news_list']/li")
for node in node_list:
item = GzgovItem()
item['name'] = node.xpath("./a/text()").extract()
item['time'] = node.xpath("./span/text()").extract()
if node.xpath("./a/@href").extract()[0].startswith("../../gzgov/snzc/") :
item['link'] = str("http://www.gz.gov.cn/gzgov/snzc"+"/"+
node.xpath("./a/@href").extract()[0].split('/', 5)[4]+"/"+
node.xpath("./a/@href").extract()[0].split('/', 5)[5])
else:
item['link'] = ""
# node.xpath("./a/@href").extract()
yield item
yield scrapy.Request(url=item['link'],callback=self.details)
if self.offset < 67:
self.offset +=1
url = self.baseURL + str(self.offset) + self.end
yield scrapy.Request(url,callback=self.parse)
def details(self,response):
item = DetailsItem()
ps = response.xpath("//div[@class='content_article']/p")
item['detail'] = ps.xpath("./text()").extract()
yield item
以上文件的解释：
1.我们采用url拼接的方式进行数据的翻页爬取，
比如第二页的url就是：
http://www.gz.gov.cn/gzgov/snzc/common_list_2.shtml
以此类推，每次只需要修改数字部分即可。总共67个条目，因此我们判断<67。
2.scrapy中有个Request专门处理跟进的url
yield scrapy.Request(url=item['link'],callback=self.details)
.callback是我们的回调函数，说明接下来将要执行的提取内容和方法，指向了我们新写的关于详情页面的函数def details(self,response):
五、运行结果
json格式
1.目录页
2.详情页
到这里，我们就成功地实现了scrapy爬虫之url跟进。
.
六、附录
本文的源码下载(Url文件夹)：
https://github.com/AndyofJuly/scrapyDemo
如果有帮助到你，请点个赞或关注对博主进行鼓励，后续还会继续更新进阶的爬虫案例，有任何疑问请下方评论留言，感谢！