此文是学习爬虫实例的过程中所做的课程笔记。
一.爬虫：
一段自动抓取互联网信息的程序。
通常使用人工的方法获取感兴趣的信息，但耗时长，效率低。爬虫即从感兴趣的url出发，访问所有关联的url，并从每个页面中提取有价值的信息。
其价值在于：将互联网的数据为我所用。
二.简单的爬虫架构：
1.爬虫调度端： 用以启动爬虫，关闭爬虫，和监视其运行情况。
2.爬虫主要有三部分：
（1）URL管理器：对已经爬过的URL的管理以及对还未爬的URL的管理。
（2）网页下载器：我们可以从待爬取的url中选取一个将其传送给网页下载器，网页下载器会将URL指定的网页下载下来，产生一个字符串，并将上面的字符串传送给网页解析器。
（3）网页解析器：对接收到的字符串进行解析，一方面，会解析出有价值的数据，另一方面，会解析出其他关联的URL，补充进URL管理器。
3.简单爬虫架构的运行流程：
三.URL管理器--------管理待抓取URL集合和已抓取URL集合
作用：为了防止重复抓取以及循环抓取
功能：
实现方式：
（1）将待爬取URL集合与已爬取URL集合，使用python的 set()集合（去重），存储在python内存中。
（2）使用关系型数据库，例如Mysql，存储为形如：urls（url，is_crawled）
（3）使用缓存数据库中，redis，将待爬取URL集合与已爬取URL集合，使用set()集合。
四.网页下载器-------将互联网上URL对应的网页下载到本地的工具
python的几种网页下载器：
（1）urllib2------python官方基础模块：支持直接的url下载，或者是向网页提交一些需要用户输入的数据，以及需要用户登录的cookie处理和需要代理访问的代理处理等增强功能。
①最简洁的下载网页的方法：
②添加data（需要用户输入的数据）， http header（网页的头信息）
代码：
③添加特殊情景的处理器：
有些网页需要用户登录才能访问，添加：HttpCookieProcessor
有些网页需要代理才能访问，添加：ProxyHandler
还有些网页是使用https加密访问的，添加：HTTPSHandler
有些网页它们的URL是自动的跳转关系，添加：HTTPRedirectHandler
从而使得urllib2有了处理这些场景的能力。
代码（例如：添加cookie的处理）
实例代码：
#coding:utf-8
import urllib.request
import urllib.error
import http.cookiejar
url="http://www.baidu.com"
print('第一种方法')
#Python 3 将urllib2 与urllib 合为了urllib了，需要使用urllib2 时写为 urllib.request
response1 = urllib.request.urlopen(url)
print(response1.getcode())
print(len(response1.read()))
print('第二种方法')
request=urllib.request.Request(url)
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print('第三种方法')
#Python 3 将 cookielib 改成 http.cookiejar了，所以只要改成import http.cookiejar就自动导入cookiejar了
cj=http.cookiejar.CookieJar()
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(cj)
print(response3.read())运行结果：
（2）requests------第三方插件：可以提供更为强大的功能。
五.网页解析器-------从网页中提取有价值数据的工具
python的几种网页解析器：
（1）正则表达式：将整个网页/文档当成一个字符串，再使用模糊匹配的方式提取出有价值的数据。这种方法优点是比较直观，但文档比较复杂的情况下，会非常的繁琐。
（2）html.parser:是python自带的一个模块，可以用以解析网页。
（3)Beautiful Soup:第三方插件，用于从html以及xml中提取数据。
（4）lxml：第三方插件，用以解析html网页和xml网页。
“结构化解析”：即将整个网页文档下载成一个DOM（Document Object Model)的树的形式进行上下级的联系与访问。首先将整个文档当成一个document对象，过程如下。
1.安装并测试 beautiful soup
由于我使用的是python3.7的版本，很多对第三方插件的要求发生了变化。必须使用4.4及以上的bs4版本，否则容易出现问题，此外，可能需要手动将bs4移入项目解释器列表中，否则会发生命令行验证没有问题，但pycharm报错（没有bs4模块）的问题。
2.beautiful soup的语法：
HTML网页——>创建Beautiful Soup对象（同时生成dom树）——>对DOM树进行搜索节点：find_all（搜索出所有满足要求的节点）与find方法（只搜索出第一个满足要求的节点）【分别按照节点的名称，属性，文字搜索】——>访问节点的名称，属性，文字
（1）创建BeautifulSoup 对象：
（2）搜索节点（find_all,find）
（3）访问节点信息：
3.Beautiful Soup实例测试：
import re
from bs4 import BeautifulSoup
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
soup=BeautifulSoup(html_doc,'html.parser')
print('获取所有的链接')
links=soup.find_all('a')
for link in links:
print(link.name,link['href'],link.get_text())
print('获取Lacie 的url的链接')
link_node=soup.find('a',href='http://example.com/lacie')
print(link_node.name, link_node['href'], link_node.get_text())
print('使用正则匹配进行模糊匹配')
link_node=soup.find('a',href=re.compile(r"ill"))
print(link_node.name, link_node['href'], link_node.get_text())
print('获取段落文字')
p_node=soup.find('p',class_="title")
print(p_node.name, p_node.get_text())
运行结果：
