01 前言
上一篇文章已经详细介绍了什么是爬虫，爬虫的一些基本需要掌握的概念，还有爬虫掌握的第一个库，requests库，具体大家可以点击这里:爬虫（一） – 带你了解爬虫最基本概念，一文即可实践
接下来，我将详细介绍爬虫的另一个很需要的工具，正则表达式。
02 正则表达式
定义：正则表达式是用于处理字符串的强大工具，通常被用来检索、替换那些符合某种规则的文本。
2.1 re库
Python通过re库提供对正则表达式的支持，但在使用正则表达式之前需要导入re模块，才能调用该模块的功能函数。
re的常用几个参数
re.I：使匹配忽略大小写re.M：允许多行匹配re.S：匹配包括换行在内的所有字符
在Python中，使用正则表达式通常需要使用re模块。常用的几种方式包括：
-
re.search(pattern, string)：在字符串中搜索与正则表达式匹配的第一个子字符串，并返回一个包含匹配信息的Match对象。如果没有匹配到，则返回None。 -
re.findall(pattern, string)：在字符串中搜索与正则表达式匹配的所有子字符串，并以列表形式返回。如果没有匹配到，则返回空列表。 -
re.sub(pattern, repl, string)：在字符串中搜索与正则表达式匹配的所有子字符串，并将其替换为指定的字符串repl。返回替换后的字符串。
以下是一个按行输出的示例代码：
import re
# 定义要匹配的正则表达式
pattern = r'^\d+\..*'
# 打开文件
with open('example.txt', 'r') as f:
# 按行读取文件内容
for line in f:
# 使用re.match()函数进行匹配
match_obj = re.match(pattern, line)
# 如果匹配成功，则输出该行内容
if match_obj:
print(line.strip())
在上面的代码中，首先定义了要匹配的正则表达式，该表达式可以匹配以数字开头，后面跟任意字符的行。然后打开文件，按行读取文件内容，并使用re.match()函数对每行内容进行匹配。如果匹配成功，则输出该行内容。
注意，
strip()函数可以去掉字符串两端的空格和换行符。
2.2 正则表达式的参数
比较常用的两个参数：
在正则表达式中，.和?都是元字符，具有特殊的含义。
- .代表匹配任意单个字符（除了换行符）。
例如，正则表达式a.b可以匹配axb、a#b、a b等。
- ?代表匹配前面的子表达式0次或1次。
例如，正则表达式ab?c可以匹配ac和abc，但不能匹配abbc。
?也可以用在其他元字符后面，用于表示非贪婪匹配。例如，正则表达式a.*?b可以匹配ab、axxxb等，但在匹配axxxbyyyb时，只会匹配到axxxb。
需要注意的是，.和?只有在正则表达式中作为元字符时才具有上述特殊含义，如果需要匹配它们本身，需要使用转义字符\。例如，正则表达式a.b可以匹配a.b，但不能匹配axb、a#b等。
2.2.1 常用的元字符
| 代码 | 说明 |
|---|---|
| . | 匹配除换行符以外的任意字符 |
| \w | 匹配字母或数字或下划线或汉字 |
| \s | 匹配任意的空白符 |
| \d | 匹配数字 |
| \b | 匹配单词的开始或结束 |
| ^ | 匹配字符串的开始 |
| $ | 匹配字符串的结束 |
实例：
-
^\d{8}$ 匹配8位数字的qq号。
-
\bOlive\b 匹配单词Olive 。
注意： I Love Oliver and Olive .这个时候返回的是Olive 而不是Oliver,因为\b…\b返回的匹配的单词
2.2.2 反义字符
反义字符：多用于查找除某个字符以外其他任意字符均可以的情况。
| 代码/语法 | 说明 |
|---|---|
| \W | 匹配任意不是字母，数字，下划线，汉字的字符 |
| \S | 匹配任意不是空白符的字符 |
| \D | 匹配任意非数字的字符 |
| \B | 匹配不是单词开头或结束的位置 |
| [^x] | 匹配除了x以外的任意字符 |
| [^data] | 匹配除了data这几个字母以外的任意字符 |
2.2.3 限定字符
限定字符:限定字符多用于重复匹配次数。
| 代码/语法 | 说明 |
|---|---|
* |
重复零次或更多次 |
+ |
重复一次或更多次 |
| ? | 子字符串重复零次或一次 |
| {n} | 重复n次 |
| {n,} | 重复n次或更多次 |
| {n,m} | 重复n到m次 |
2.2.4 转义字符
转义字符：加\。
实例：如元字符 . * \ 需要转换为 \. \* \\
字符分枝：多用于满足不同情况的选择，用“|”将不同的条件分割开来，比如有些固定电话区号有三位，有些有四位，这个时候可以采用字符分枝
例如：\d{3}-\d{8}|\d{4}-\d{8} 可以匹配两种不同长度区号的固定电话
2.2.5 字符分组
字符分组多用于将多个字符重复，主要通过使用小括号()来进行分组
形如：（\d\w){3} 重复匹配3次（\d\w)
常用分组语法:
| 分类 | 代码 | 说明 |
|---|---|---|
| 捕获 | (exp) | 匹配exp,并捕获文本到自动命名的组里 |
| (?< name >exp) | 匹配exp,并捕获文本到名称为name的组里，也可以写成(?'name'exp) | |
| (?:exp) | 匹配exp,不捕获匹配的文本，也不给此分组分配组号 | |
| 零宽断言 | (?=exp) | 匹配exp前面的位置 |
| (?<=exp) | 匹配exp后面的位置 | |
| (?!exp) | 匹配后面跟的不是exp的位置 | |
| (?<!exp) | 匹配前面不是exp的位置 | |
| 注释 | (?#comment) | 这种类型的分组不对正则表达式的处理产生任何影响，用于提供注释让人阅读 |
2.2.6 懒惰匹配和贪婪匹配
贪婪匹配：正则表达式中包含重复的限定符时，通常的行为是匹配尽可能多的字符。
懒惰匹配：有时候需要匹配尽可能少的字符。
例如： a.*b，它将会匹配最长的以a开始，以b结束的字符串。如果用它来搜索aabab的话，它会匹配整个字符串aabab。但是我们此时可能需要匹配的是ab这样的话就需要用到懒惰匹配了。懒惰匹配会匹配尽可能少的字符。
| 代码/语法 | 说明 |
|---|---|
| *? | 重复任意次，但尽可能少重复 |
| +? | 重复1次或更多次，但尽可能少重复 |
| ?? | 重复0次或1次，但尽可能少重复 |
| {n,m}? | 重复n到m次，但尽可能少重复 |
| {n,}? | 重复n次以上，但尽可能少重复 |
2.2.7 后向引用
后向引用用于重复搜索前面某个分组匹配的文本。
使用小括号指定一个子表达式后，匹配这个子表达式的文本(也就是此分组捕获的内容)可以在表达式或其它程序中作进一步的处理。默认情况下，每个分组会自动拥有一个组号。
- 默认组号：
示例：\b(\w+)\b\s+\1\b可以用来匹配重复的单词，像go go, 或者kitty kitty。
这个表达式首先是一个单词，也就是单词开始处和结束处之间的多于一个的字母或数字(\b(\w+)\b)，这个单词会被捕获到编号为1的分组中，然后是1个或几个空白符(\s+)，最后是分组1中捕获的内容（也就是前面匹配的那个单词）(\1)。
- 自主指定：你也可以自己指定子表达式的组名。
要指定一个子表达式的组名，请使用这样的语法：(?< Word>\w+)(或者把尖括号换成’也行：(?‘Word’\w+)),这样就把\w+的组名指定为Word了。要后向引用这个分组捕获的内容，你可以使用\k< Word>,所以上一个例子也可以写成这样：\b(?< Word>\w+)\b\s+\k< Word>\b
2.2.8 零宽断言
有时候需要查找某些匹配之前或之后的东西，这个时候就需要指定一个位置，这个位置应该满足一定的条件(即断言)。具体请看 本章的2.2.5
比如
\b\w+(?=ing\b)，匹配以ing结尾的单词的前面部分(除了ing以外的部分)，如查找I’m singing while you’re dancing.时，它会匹配sing和danc。
比如(?<=\bre)\w+\b会匹配以re开头的单词的后半部分(除了re以外的部分)，例如在查找reading a book时，它匹配ading。
2.3 常用的正则表达式
- 如果你自己实在学不会正则表达式，请点击这里，转载自其他大神：点击这里，他里面归纳了基本所有你想要的用的正则表达式。
- 如果里面没有你想要的，请私信我。
2.4 正则表达式的实例
(1) 抓取html里面的<title>间的内容
#方法一
title = re.findall(r'<title>(.*?)</title>', content.decode('utf-8'))
# 方法二
pat = r'(?<=<title>).*?(?=</title>)'
ex = re.compile(pat, re.M|re.S)
obj = re.search(ex, content.decode('utf-8'))
title = obj.group()
print(title)
（2）爬取超链接<a>标签间的内容
#获取完整超链接
res = r"<a.*?href=.*?<\/a>"
urls = re.findall(res, content.decode('utf-8'))
#获取超链接<a>和</a>之间内容
res = r'<a .*?>(.*?)</a>'
texts = re.findall(res, content.decode('utf-8'), re.S|re.M)
（3）抓取超链接标签的url
res = r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')"
urls = re.findall(res, content, re.I|re.S|re.M)
for url in urls:
print(url)
（4）抓取图片超链接标签的url
content = '''<img alt="Python" src="http://www.yangxiuzhang.com/eastmount.jpg" />'''
urls = re.findall('src="(.*?)"', content, re.I|re.S|re.M)
print urls
（5）获取url中最后一个参数
在使用Python爬取图片过程中，通常会遇到图片对应的url最后一个字段用来命名图片的情况，如“photo1.jpg”，需要通过解析url“/”后面的参数来获取图片。
urls = 'http://www..csdn.net/photo1.jpg'
name = urls.split('/')[-1]
print name
补充：如果取得的text有其他字符，可以进行数据的预处理
使用.replace()方法，将需要替换的特殊字符统统替换成空字符，可以看数据分析这一讲，详细学习该方法的用法。
03 还在学习（ing）
想要学好爬虫，还需要学习以下基础知识：
- Beautiful Soup 4
- XPATH技术：分析网页的DOM树结构，通过XPATH技术定位网页所爬取内容的节点，再抓取数据
- Scrapy框架
- Selenium库