本文是Python爬虫从入门到精通系列的第3篇。我们将总结BeautifulSoup这个解析库以及常用的find和select方法。我们还会利用requests库和BeauitfulSoup来爬取糗事百科上的段子, 并对比下单线程爬虫和多线程爬虫的爬取效率。
什么是BeautifulSoup及如何安装
BeautifulSoup是一个解析HTML或XML文件的第三方库。HTML或XML文件可以用DOM模型解释,一般包含三种节点:
-
元素节点 - 通常指HTML或XML的标签(tag), 如title, p, a
-
文本节点 - 标签内部的文本内容(string 或者text)
-
属性节点 - 每个标签的属性(attribute)。
BeautifulSoup库可以对HTML或XML文件解析,查找到一个或多个标签元素(tag),并获取每个标签里的文本和属性,这为我们python爬虫从html文本里提取所需要的内容提供了很大的便利。一个BeautifulSoup很好的特性是它接受一个str或byte对象后会对编码自动检测,并把当前文档编码并转换成Unicode编码,这样你就不用担心乱码问题了。
安装和使用只需要使用如下两个命令:
pip install beautifulsoup4
from bs4 import BeautifulSoup
我们还建议你安装lxml HTML解析库,比python自带的解析库html.parser更快。
pip install lxml
安装好BeautifulSoup对象后,你就可以创建soup对象,并开始后面的查找了。
soup = BeautifulSoup(html, "html.parser") soup = BeautifulSoup(html, "lxml")
BeautifulSoup库的使用方法
BeautifulSoup对一个元素的查找主要有3中方法:
-
根据标签名直接查找 - 比如soup.title, soup.p,仅适用于查找单个元素
-
使用find和find_all方法 - 根据标签名和属性对文档遍历查找提取一个或多个元素。
-
使用select方法 - 根据css样式选择器对文档进行遍历提取一个或多个元素
# 根据tag直接获取元素 soup.p #获取p标签元素对象,只获取第一个 soup.p.name #获取p标签的名字,即'p" soup.p.string # 获取p标签元素内的文本 soup.p['class'] #获取p标签元素的class属性 soup.p.get('class') #等同于上述案例 soup.a['href'] #获取第一个a元素的href属性 # find_all方法。find方法类似,仅用于提取首个匹配元素 # find_all( name , attrs , recursive , text , **kwargs ) # name :要查找的标签名(字符串、正则、方法、True) # attrs: 标签的属性 # recursive: 递归 # text: 查找文本 # **kwargs :其它 键值参数 # 因class是关键字,所以要写成class_="value", 等同于attrs={"class":"value"} soup.find_all('p') # 以列表形式返回所有p标签 soup.find_all('p', attrs={"class":"sister"}) # 以列表形式返回所有class属性==sister的p标签 soup.find_all('p', class_="sister") # 以列表形式返回所有class属性==sister的p标签 soup.find_all(id='link2') # 返回所有id属性==link2的标签 soup.find_all(re.compile("^b")) # 使用正则查找标签以b开头的元素 soup.find_all(href=re.compile("elsie")) # 使用正则, 返回所有href属性包含elsie的标签 soup.find_all(id="link1", href=re.compile('elsie')) # id=link1且href包含elsie的标签 # select方法 - css选择器 # 注意select方法提取的元素均是列表形式,获取文本时注意加index soup.select('p') # 根据标签名查找所有p元素,等于soup.find_all('p') soup.select('.sister') # 通过css属性查找class=sister的标签 soup.select('#link1') # 通过id查找所有id=#link1的元素 soup.select('p #link1') # 组合查找id=#link11的p元素 soup.select("head > title") # 查找head标签的子元素title soup.select('a[class="sister"]') # 查找所有属性为sister的a标签 soup.select('a[href="http://example.com/elsie"]') #查找href=xxx的a标签元素 soup.select('p')[0].get_text() # 获取首个p元素的文本 soup.select('a[href*=".com/el"]')[0].attrs['href'] #获取xxx.com的href
除了find()和find_all()之外还有一些非常有用的方法可用来搜索父子和兄弟节点。使用方法和find_all方法类似。
find_parent()
find_parents()
find_next_sibling()
find_next_siblings()
find_previous_sibling()
find_previous_siblings()
find_next()
find_previous()
find_all_next()
find_all_previous()
请注意select方法和find方法有如下区别,使用时请注意:
-
find方法返回的是单个元素,find_all方法返回的是一个元素列表,而select方法永远返回的是元素列表。如果你使用了select方法查找到了单个元素,别忘了先加列表索引[0],然后才可以调用get_text()方法获取文本。
-
find方法还支持方法参数查询,比select方法更强大,如下所示:
def has_class_no_id(tag): return tag.has_attr("class") and not tag.has_attr("id") soup.find_all(has_class_no_id) # 支持方法参数
BeautifulSoup库的缺点
BeautifulSoup对元素的查找很人性化,便于阅读理解,不过缺点是速度较慢。一个更快的对元素进行查找的方法是XPATH,我们以后再讲解。BeautifulSoup对一般的爬虫项目已经够用,我们今天就来使用BeauitfulSoup来爬取糗事百科上的段子, 并对比下单线程爬虫和多线程爬虫的爬取效率。
对比单线程和多线程爬虫
我们分别写个单线程和多线程爬虫看看爬取糗事百科前10页的段子都需要多长时间。爬取结果写入txt文件。如果代码你看不全,请搜索csdn大江狗,看全文。
# 单线程爬虫
import requests from bs4 import BeautifulSoup import time headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36' } if __name__ == "__main__": start = time.time() f = open("qiushi01.txt", "a", encoding='utf-8') url_list = [] for i in range(1, 11): url_list.append('https://www.qiushibaike.com/8hr/page/{}/'.format(i)) for url in url_list: response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") div_list = soup.select('.article') for div in div_list: author = div.select('.author')[0].select('h2')[0].get_text() content = div.select('.content')[0].get_text() f.write(author) f.write(content) f.close() end = time.time() print("下载完成. 用时{}秒".format(end-start))
# 多线程爬虫
import requests from bs4 import BeautifulSoup import time import threading from queue import Queue headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36' } class MyThread(threading.Thread): def __init__(self, name, queue, file): super().__init__() self.name = name self.queue = queue self.file = file def run(self): print("启动{}".format(self.name)) while not self.queue.empty(): try: url = self.queue.get() response = requests.get(url, headers=headers) self.parse(response.text) except: pass print("结束{}".format(self.name)) def parse(self, html): soup = BeautifulSoup(html, "html.parser") div_list = soup.select('.article') for div in div_list: author = div.select('.author')[0].select('h2')[0].get_text() content = div.select('.content')[0].get_text() self.file.write(author + content) if __name__ == "__main__": start = time.time() f = open("qiushit10.txt", "a", encoding='utf-8') queue = Queue() for i in range(1, 11): queue.put('https://www.qiushibaike.com/8hr/page/{}/'.format(i)) thread1 = MyThread("线程1", queue, f) thread2 = MyThread("线程2", queue, f) thread1.start() thread2.start() thread1.join() thread2.join() f.close() end = time.time() print("下载完成. 用时{}秒".format(end-start))
# 爬取结果
# 单线程爬虫 (venv) C:\Users\MissEnka\PycharmProjects\spider>python qiushi.py 下载完成. 用时3.873957872390747秒 # 多线程爬虫 (venv) C:\Users\MissEnka\PycharmProjects\spider>python qiushit.py 启动线程1 启动线程2 结束线程2 结束线程1 下载完成. 用时2.473332643508911秒
由此可见,多线程爬虫还是节约了大概35%的时间。大家不是说python因为GIL锁的原因多线程编程是鸡肋吗? 其实不是。至于为什么请阅读一文看懂Python多进程与多线程编程(工作学习面试必读)
大江狗
2018.10