[Python爬虫]爬虫实例:离线爬取当当网畅销书Top500的图书信息

版权声明：Powered by Hibiki Copyright None https://blog.csdn.net/xHibiki/article/details/84069158

本实例还有另外的在线爬虫实现,有兴趣可点击在线爬取当当网畅销书Top500的图书信息

爬虫说明

1.使用requests和Lxml库爬取,(用BS4也很简单,这里是为了练习Xpath的语法)
2.爬虫分类为两种,一种是在线爬虫,即在网站中一边打开网页一边进行爬取;第二种是本实例使用的离线爬虫,即先将所爬取的网页保存到本地,再从本地网页中爬取信息
3.离线爬虫的优点是:可以方便爬虫的调试修改,且一次保存,可以多次爬取,不必担心网络资源,网络速度以及是否被网站监测.
4.离线爬虫的缺点是:需要先进行网页的保存,如果爬取的网页比较多,那么需要保存到本地占用的空间就越大,而且文档还涉及到许多不必要的信息,浪费空间.其次是爬取链问题,如果需要在当前网页中爬取另一个网页(超链接),那么该网页也需要保存,并且需要指定存放的位置.最后是编码的问题,涉及了网页的编码,文件的读取保存编码的统一,这里可能会遇到一些编码问题需要处理.

爬虫介绍

本次爬虫爬取的网页为:
图书畅销榜-10月畅销书排行榜-当当畅销图书排行榜
爬取的信息包括图书的排名,书名,作者,好评率,购买页面以及ISBN
如图:

其中,ISBN需要在购买页面链接中继续爬取,找到ISBN

爬取之后的结果整理好存放到csv文件中.
最终成果如图:

爬虫代码

观察需要爬取的第一页和最后一页:
http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-month-2018-10-1-1
http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-month-2018-10-1-25
发现只有最后一个数字改了,且每页显示20本图书,所以25*20=500,搞定.
这里自己了一个spider.py,里面写了两个小函数,一个用于返回网站的编码格式,一个用来存放网页到本地(实现离线爬虫)

import requests
import re

def get_encoding(url, headers=None):  # 一般每个网站自己的网页编码都是一致的,所以只需要搜索一次主页确定
    'To get website\'s encoding from tag<meta content=\'charset=\'UTF-8\'>'#从<meta>标签中获取
    res = requests.get(url, headers=headers)
    charset = re.search("charset=(.*?)>", res.text)
    if charset is not None:
        blocked = ['\'', ' ', '\"', '/']
        filter = [c for c in charset.group(1) if c not in blocked]
        return ''.join(filter)  # 修改res编码格式为源网页的格式,防止出现乱码
    else:
        return res.encoding  # 没有找到编码格式,返回res的默认编码


def savepage(response, filepath,encoding='UTF-8'): #注意response=requests.get()
    response.encoding = encoding
    with open(filepath, 'wb') as f:
        f.write(response.content)

在dangdang_best_selling_offline.py中,代码如下:

import spider
import csv
import os
import requests
import time
from lxml import etree

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/'
                  '537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36'
}  # 设置headers
encoding = spider.get_encoding('http://www.dangdang.com', headers)  # 获取网站编码
urls = ['http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-month-2018-10-1-{}'.format(i) for i in
        range(1, 26)] #构造网页

# 保存书单页面与详细页面(离线保存)
for i in range(25):
    dirpath = 'd:/dangdang/2018-10-{}/'.format(i + 1) #先手动确保d:/dangdang 文件夹存在
    if not os.path.exists(dirpath):  # 子文件夹不存在则创建文件夹
        os.mkdir(dirpath)
    filepath = dirpath + 'list.html'
    if not os.path.exists(filepath):
        res = requests.get(urls[i], headers)
        spider.savepage(res, filepath, encoding)  # 保存当前书单页面
        time.sleep(0.5)  # 缓冲0.5秒,防止请求频率过快
        pattern = '//ul[@class="bang_list clearfix bang_list_mode"]/li/div[2]/a/@href'
        detail_url = etree.HTML(res.text).xpath(pattern)  # 获取每一本书的详细页面
        for id, url in enumerate(detail_url):  # 保存每本书的页面
            filepath = dirpath + '{}.html'.format(id + 1)
            res = requests.get(detail_url[id], headers)
            spider.savepage(res, filepath, encoding)
            time.sleep(0.5)

执行完上面的代码后(等待一段时间),就得到以下结果:

上述的是每一个页面对应一个文件夹,共25个
打开文件夹:

每个文件夹都有一个list.html,这是保存了当前页面的html,还有20个按序号排列的html,每一个html代表着一本书的单独页面用来获取ISBN,(除此以外还能够爬取很多信息,自己玩去)
下面是爬取和保存的代码:

# 保存所有页面后,进行离线爬虫的准备
if __name__ == '__main__':
    output = open('d:/dangdang/result.csv', 'w', newline='')  # 将信息导出到csv,设置newline=""去除写一行空一行的影响
    writer = csv.writer(output)  # csv writer
    writer.writerow(('排名', '书名', '作者', '好评率', '购买页面', 'ISBN'))
    for page in range(25):
        dirpath = 'd:/dangdang/2018-10-{}/'.format(page + 1)
        with open(dirpath + 'list.html') as f:
            text = ''.join(f.readlines())
            selector = etree.HTML(text)
            booklist = selector.xpath('//ul[@class="bang_list clearfix bang_list_mode"]/li')
            book = [book for book in booklist]
        for i in range(len(book)):
            with open(dirpath + '{}.html'.format(i + 1)) as df:  # 打开保存书籍的详细页面
                d_text = ''.join(df.readlines())
                d_selector = etree.HTML(d_text)
                # text()是选出<a>xxx</a>中间的值,而@href 是选出href属性的值
                rank = book[i].xpath('div[1]/text()')[0]  # 排名
                site = book[i].xpath('div[2]/a/@href')[0]  # 购买/详细页面
                name = book[i].xpath('div[3]/a/text()')[0]  # 名字
                star = book[i].xpath('div[4]/span/span/@style')  # 以星星宽度决定好评
                author = book[i].xpath('div[5]/a/text()')  # 作者名
                ISBN = d_selector.xpath('//ul[@class="key clearfix"]/li[5]/text()')[0]  # 从详细页面中获取isbn
                # 数据的规格化,这里为了方便修改,分开未修改和已修改两部分
                rank = rank.replace('.', '')
                site = site
                name = name
                star = ''.join([x for x in star[0] if x.isdigit() or x == '.'])
                author = ' '.join(author)
                ISBN = ISBN.replace('国际标准书号ISBN：', '') + '\t' #去除在Excel中科学计数法的影响
                print(rank, name, author, star, site, ISBN)
                writer.writerow((rank, name, author, star, site, ISBN))  # 保存到csv

不多赘述,有兴趣可以copy下来慢慢玩,最好就是打开畅销书的网页,然后对照审查元素慢慢研究lxml. 另外要注意的细节都以注释形式保存了.

写在最后

爬虫挺好玩的,所有的源代码,离线网页和输出的csv文件都放在网盘里面了.

百度网盘

这里了,感兴趣就点击下载多多支持吧~
最终感谢没有限制我让我爬这么多网页的当当网的大力支持.
感谢提出要爬这个榜单数据用于工作的朱老板.