爬虫之Beautifulsoup及xpath

1.BeautifulSoup　(以 Python 风格的方式来对 HTML 或 XML 进行迭代，搜索和修改)

1.1 介绍

　　Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

1.2 解析器

　　Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐安装。

1.3 使用

　　借用官方文档提供的爱丽丝梦游仙境文档内容

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

1.标签获取

from bs4 import BeautifulSoup

soup=BeautifulSoup(html_doc,'html.parser')

# 获取a标签的所有内容
print(soup.a)       # <a class="sister 123" href="http://example.com/elsie" id="link1">Elsie</a>
print(type(soup.a))     # <class 'bs4.element.Tag'>


# 获取title节点的所有内容
print(soup.head.title)  # <title>The Dormouse's story</title>


print(soup.find_all("a"))   # 获取所有符合条件的标签对象集合，以列表形式展示

2.标签对象的属性，名称，文本

from bs4 import BeautifulSoup

soup=BeautifulSoup(html_doc,'html.parser')

for link in soup.find_all('a'):
    # print(link.name)       # 获取标签名称

    # print(link.get('href'))     # 获取a标签中的所有href
    # print(link["href"])
    # print(link.get("id"))   # 获取标签的id
    # print(link.get("class"))    # 获取标签的class值
    # print(link.attrs)       # 获取a标签中的所有属性
    # del link["id"]
    # print(link.attrs)   # 获取除了a标签中除id属性外的所有属性

    print(link.text)    # 获取a标签下的文本信息
    print(link.string)
    print(link.get_text())

# text和string的区别

print(soup.p.string)    # None
print(soup.p.text)  # The Dormouse's story      123

1.4 文档树信息获取

print(soup.head.title.string)   #连续跨节点获取文本信息
print(soup.body.a.string)       # 获取a标签下的第一个文本信息

# 子节点，子孙节点
print(soup.p.contents)      # 获取第一个p标签下的所有文本信息，最终在一个列表内
# ['\n', <b>The Dormouse's story</b>, '\n', <span alex="dsb" class="123">123</span>, '\n']

print(soup.p.children)  # 包含p下所有子节点的生成器
for child in soup.p.children:
    print(child)    # 获取p下的所有子节点

print(soup.p.descendants)   # 获取子孙节点,p下所有的标签都会选择出来
for child in soup.p.descendants:
    print(child)

# 父节点，祖先节点
print(soup.p.parent)      # 获取p标签的父节点，得到整个body
print(soup.p.parents)     # 一个生成器，找到p标签所有的祖先节点

# 兄弟节点
print(soup.a.next_sibling)  # a节点的下一个兄弟，得到一个逗号
print(soup.a.next_siblings) # 一个生成器，下面的兄弟们

print(soup.a.previous_sibling)  # 上一个兄弟，即得到了上面的文本信息
print(soup.a.previous_siblings) # 一个生成器，上面的兄弟们

搜索文档树下的几种过滤器(结合find_all)　　

还是借用官方文档提供的内容

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

第一种：字符串

ret = soup.find_all(name="a")   # a标签的所有节点

第二种：正则

import re
tmp = re.compile("^h")
rep = soup.find_all(name=tmp)   # 获取所有以h开头的标签节点，包含html标签和head标签

第三种：列表

ret = soup.find_all(name=["a","b"])     # 获取所有的a标签和b标签

第四种：方法

def has_class_but_no_id(tag):
    return tag.has_attr('class') and not tag.has_attr('id')
    
for tag in soup.find_all(name=has_class_but_no_id):
    print(tag)  # 获取具有class属性但不具有id属性的标签

关于limit参数:

　　如果我们不需要全部结果,可以使用 limit参数限制返回结果的数量

print(soup.find_all('a',limit=2))

关于recursive参数:

　　调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False

print(soup.html.find_all('a',recursive=False))

find的使用(只返回一个)：

　　find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果

print(soup.find('a'))
# <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

　　soup.head.title 是 tag的名字方法的简写.这个简写的原理就是多次调用当前tag的 find() 方法:

soup.head.title
# <title>The Dormouse's story</title>
soup.find("head").find("title")
# <title>The Dormouse's story</title>

1.5 css选择器

　　这里其实通过名称就可以知道，它是通过css属性来进行查找的

ret=soup.select("a")          # 标签名查找
ret=soup.select("#link1")     # 通过id查找
ret=soup.select(".sister")    # 通过类名查找
ret=soup.select(".c1 p,a")    # 组合查找
ret = soup.select("a[href='http://example.com/tillie']")  # 通过属性查找

更多介绍可以查看官方文档

2.xpath　(快速，简单易用，功能齐全的库，用来处理 HTML 和 XML)

　　xpath全称为XML Path Language， 一种小型的查询语言，实现的功能与re以及bs一样，但是大多数情况会选择使用xpath

　　由于XPath属于lxml库模块，所以首先要安装库lxml

调用方法：

from lxml import etree

selector=etree.HTML('源码')   # 将源码转化为能被XPath匹配的格式
# <Element html at 0x29b7fdb6708>
ret = selector.xpath('表达式')     # 返回为一列表

2.1 查询语法

原文

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

这里首先需要将它转换成xpath匹配的格式

from lxml import etree
selector=etree.HTML(html_doc)   # 将源码转化为能被XPath匹配的格式

节点选取

nodename     选取nodename节点的所有子节点         xpath(‘//div’)         选取了所有div节点
/            从根节点选取                        xpath(‘/div’)          从根节点上选取div节点
//           选取所有的当前节点，不考虑他们的位置    xpath(‘//div’)         选取所有的div节点
.            选取当前节点                        xpath(‘./div’)         选取当前节点下的div节点
..           选取当前节点的父节点                 xpath(‘..’)            回到上一个节点
@            选取属性                           xpath（’//@calss’）     选取所有的class属性

用法

from lxml import etree
selector = etree.HTML(html_doc)

ret=selector.xpath("//p")
# [<Element p at 0x2a6126569c8>, <Element p at 0x2a612656a08>, <Element p at 0x2a612656a48>]
ret=selector.xpath("//p/text()")   # 打印当中的文本信息，包括换行符

ret=selector.xpath("/p")     # []

ret=selector.xpath("//a[@id='link1']")     # [<Element a at 0x1c541e43808>]
ret=selector.xpath("//a[@id='link1']/text()")     # ['Elsie']

谓语用法(返回的都是element对象)

表达式                                         结果
xpath(‘/body/div[1]’)                     选取body下的第一个div节点
xpath(‘/body/div[last()]’)                选取body下最后一个div节点
xpath(‘/body/div[last()-1]’)              选取body下倒数第二个div节点
xpath(‘/body/div[positon()<3]’)           选取body下前两个div节点
xpath(‘/body/div[@class]’)                选取body下带有class属性的div节点
xpath(‘/body/div[@class=”main”]’)         选取body下class属性为main的div节点
xpath(‘/body/div[price>35.00]’)           选取body下price元素值大于35的div节点

通配符

表达式                 结果
xpath（’/div/*’）     选取div下的所有子节点
xpath(‘/div[@*]’)    选取所有带属性的div节点

多个路径的选取

表达式                         结果
xpath(‘//div|//table’)    选取所有的div和table节点

代码

from lxml import etree
selector = etree.HTML(html_doc)

ret = selector.xpath('//title/text()|//a/text()')
# ["The Dormouse's story", 'Elsie', 'Lacie', 'Tillie']

2.2 xpath轴

　　轴可以定义相对于当前节点的节点集

轴名称                      表达式                                  描述
ancestor                xpath(‘./ancestor::*’)              选取当前节点的所有先辈节点（父、祖父）
ancestor-or-self        xpath(‘./ancestor-or-self::*’)      选取当前节点的所有先辈节点以及节点本身
attribute               xpath(‘./attribute::*’)             选取当前节点的所有属性
child                   xpath(‘./child::*’)                 返回当前节点的所有子节点
descendant              xpath(‘./descendant::*’)            返回当前节点的所有后代节点（子节点、孙节点）
following               xpath(‘./following::*’)             选取文档中当前节点结束标签后的所有节点
following-sibing        xpath(‘./following-sibing::*’)      选取当前节点之后的兄弟节点
parent                  xpath(‘./parent::*’)                选取当前节点的父节点
preceding               xpath(‘./preceding::*’)             选取文档中当前节点开始标签前的所有节点

preceding-sibling       xpath(‘./preceding-sibling::*’)     选取当前节点之前的兄弟节点
self                    xpath(‘./self::*’)                  选取当前节点

用法

ret = selector.xpath('//a/ancestor::*')
# [<Element html at 0x168a62717c8>, <Element body at 0x168a6271748>, <Element p at 0x168a6271708>]

ret = selector.xpath('//a/parent::*/text()')
# ['Once upon a time there were three little sisters; and their names were\n', ',\n', ' and\n',
#  ';\nand they lived at the bottom of a well.']

ret = selector.xpath('//a/attribute::*')
# ['http://example.com/elsie', 'sister', 'link1', 'http://example.com/lacie', 'sister',
#  'link2', 'http://example.com/tillie', 'sister', 'link3']

2.3 功能函数

　　使用功能函数能够进行模糊搜索

函数                  用法                                                               解释
starts-with         xpath(‘//div[starts-with(@id,”ma”)]‘)                        选取id值以ma开头的div节点
contains            xpath(‘//div[contains(@id,”ma”)]‘)                           选取id值包含ma的div节点
and                 xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘)    选取id值包含ma和in的div节点
text()              xpath(‘//div[contains(text(),”ma”)]‘)                        选取节点文本包含ma的div节点

用法

from lxml import etree
selector = etree.HTML(html_doc)

# p标签class属性为story,在它下面的a标签id属性以link开头的文本信息
ret=selector.xpath("//p[@class='story']/a[starts-with(@id,'link')]/text()")
# ['Elsie', 'Lacie', 'Tillie']

# p标签class属性为story,在它下面的a标签id属性包含k的文本信息
ret=selector.xpath("//p[@class='story']/a[contains(@id,'k')]/text()")
# ['Elsie', 'Lacie', 'Tillie']

# p标签class属性为story,在它下面的a标签class属性包含is的文本信息
ret=selector.xpath("//p[@class='story']/a[contains(@class,'is')]/text()")
# ['Elsie', 'Lacie']

# 选取p标签class属性为story,在它下面的a标签文本信息包含ie的文本信息
ret=selector.xpath("//p[@class='story']/a[contains(text(),'ie')]/text()")
# ['Elsie', 'Lacie', 'Tillie']

更多介绍可以参考w3c

2.4 链家二手房信息地的抓取

　　打开链家网，选取我们需要的信息，点击右键在copy中点击copy xpath

得到如下内容：

//*[@id="leftContent"]/ul/li[1]/div/div[1]/a

代码：

import requests
from lxml import etree

response = requests.get("https://bj.lianjia.com/ershoufang/changping/pg1/",
        headers={
            'Referer':'https://bj.lianjia.com/ershoufang/changping/',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3534.4 Safari/537.36',
                    })

selector=etree.HTML(response.content) # 将html源码转化为能被XPath匹配的格式

ret = selector.xpath("//*[@id='leftContent']/ul/li[1]/div/div[1]/a/text()")
print(ret)      # ['商品房满五年唯一 有电梯高楼层 东南2居室 已留钥匙']

这里我们要获取首页所有该房源名称呢

ret = selector.xpath("//*[@id='leftContent']/ul/li[1]//div/div[1]/a/text()")

注意两个的区别，这里我们不考虑它的位置

3.总结

　　几种获取节点的库比较：

抓取方式	性能	使用难度
re正则	快	困难
BeautifulSoup	慢	简单
Xpath	快	快

　　通常情况下，lxml 是抓取数据的最好选择，它不仅速度快(结合谷歌浏览器)，功能也更加丰富，而正则表达式和 Beautiful Soup只在某些特定场景下有用