学习爬虫第三天 re正则表达式

1. 正则表达式

介绍:
正则表达式(regular expression)是⼀种⼯具,⼀种⼴泛⽤于匹配字符串的⼯具。它⽤⼀个“字符串”来描述⼀个特征,然后去验证另⼀个“字符串”是否符合这个特征。⽐如 表达式“ab+”描述的特征是“⼀个’a’和任意个’b’”,那么’ab’,‘abb’,'abbbbbbbbbb’都符合这个特征。

语法:
正则表达式本质上只做⼀件事,那就是编写⼀个表达式“字符串”,然后⽤这个字符串去匹配⽬标⽂本。核⼼的核⼼,都在编写这个“字符串”表达式上⾯。

使用:
在Python中需要通过正则表达式对字符串进行匹配的时候,可以使用一个模块,名为 re (内置模块,不需要pip)

# 导入模块
import re

# 使用方法进行匹配 match举例
result = re.match(正则表达式,要匹配的字符串,模式)
# tip:正则表达式前面最好添加 r

# 获取数据
result.group()

2. re 之各种常用字符

2-1. 普通字符

字母、数字、汉字、下划线、以及没有特殊定义的符号,都是“普通字符”。正则表达式中的普通字符,在匹配的时候,只匹配与自身相同的一个字符。

例如:
表达式c,在匹配字符串abcde时,匹配结果是:成功;匹配到的内容是c;匹配到的位置开始于2,结束于3。(注:下标从0开始还是从1开始,因当前编程语⾔的不同⽽可能不同)

2-2. 元字符

正则表达式中使用了很多元字符,用来表示一些特殊的含义或功能。

表达式 匹配
. 小数点可以匹配除了换行符 ‘\n’ 以外的任意一个字符
| 逻辑或操作符
[ ] 匹配字符集中的一个字符
[^] 对字符集求反,也就是上面的反操作。尖号必须在括号里的最前面
- 定义 ‘[ ]’ 里的一个字符区间,如: [ a - z ]
\ 对紧跟其后的一个字符进行转义
( ) 对表达式进行分组,将圆括号内的内容当作一个整体,并获得匹配的值

2-3. 转义字符

一些无法书写或者具有特殊功能的字符,采用在前面加斜杠“\”进行转义的方法。

表达式 匹配
\r,\n 匹配回车与换行符
\t 匹配制表符
\\ 匹配斜杠 \
\^ 匹配 ^ 符号
\$ 匹配 $ 符号
\. 匹配小数点 .

尚未列出的还有问号?、星号*和括号等其他的符号。所有正则表达式中具有特殊含义的字符在匹配⾃身的时候,都要使⽤斜杠进⾏转义。这些转义字符的匹配⽅法与普通字符类似,也是匹配与之相同的⼀个字符。

2-4. 预定义匹配字符集

正则表达式中的一些表示方法,可以同时匹配某个预定义字符集中的任意一个字符。比如,表达式 \d 可以匹配任意一个数字。虽然可以匹配其中任意字符,但是智能是一个,不是多个。

表达式 匹配
\d 任意一个数字,0~9中的任意一个
\w 任意一个字母或者数字或下划线,也就是 A-Z,a-z,0-9,_ 中的任意一个
\s 空格、制表符、换页符等空白字符的其中任意一个
\D \d 的反集,也就是非数字的任意一个字符等同于[ ^\d]
\W \w 的反集,也就是 [ ^\w]
\S \s 的反集,也就是 [ ^\s]

例如表达式\d\d,在匹配abc123时,匹配的结果是:成功;匹配到的内容是12;匹配到的位置开始于3,结束于5。 (前提是⽤search来匹配,⽤match是匹配不到的)

2-5. 重复匹配

前⾯的表达式,⽆论是只能匹配⼀种字符的表达式,还是可以匹配多种字符其中任意⼀个的表达式,都只能匹配⼀次。但是有时候我们需要对某个⽚段进⾏重复匹配,例如⼿机号码13666666666,⼀般的新⼿可能会写成\d\d\d\d\d\d\d\d\d\d\d(注意,这不是⼀个恰当的表达式),不但写着费劲,看着也累,还不⼀定准确恰当。

这种情况可以使⽤表达式再加上修饰匹配次数的特殊符号{},不⽤重复书写表达式就可以重复匹配。⽐如[abcd][abcd]可以写成[abcd]{2}。

表达式 匹配
{n} 表达式重复n次,⽐如\d{2}相当于\d\d,a{3}相当于aaa
{m,n} 表达式⾄少重复m次,最多重复n次。⽐如ab{1,3}可以匹配ab或abb或abbb
{m, } 表达式⾄少重复m次,⽐如\w\d{2,}可以匹配a12,_1111,M123等等
? 匹配表达式0次或者1次,相当于{0,1},⽐如a[cd]?可以匹配a,ac,ad
+ 表达式⾄少出现1次,相当于{1,},⽐如a+b可以匹配ab,aab,aaab等
* 表达式出现0次到任意次,相当于{0,},⽐如^*b可以匹配b,^^^b等等

2-6. 位置匹配

有时候,我们对匹配出现的位置有要求,⽐如开头、结尾、单词之间等等.

表达式 匹配
^ 在字符串开始的地⽅匹配,符号本身不匹配任何字符
$ 在字符串结束的地⽅匹配,符号本身不匹配任何字符
\b 匹配⼀个单词边界,也就是单词和空格之间的位置,符号本身不匹配任何字符
\B 匹配⾮单词边界,即左右两边都是\w范围或者左右两边都不是\w范围时的字符缝隙

参考:

  • 例如表达式^aaa在匹配xxx aaa xxx时,匹配结果是:失败。因为^要求在字符串开始的地⽅匹配。
  • 表达式aaa x x x a a a x x x 在匹配xxx aaa xxx时,匹配结果是:失败。因为 要求在字符串结束的地⽅匹配。
  • 表达式.\b.在匹配@@@abc时,匹配结果是:成功;匹配到的内容是@a;匹配到的位置开始于2,结束于4。
  • 表达式\bend\b在匹配weekend,endfor,end时,匹配结果是:成功;匹配到的内容是end;匹配到的位置开始于15,结束于18。

2-7. 贪婪与非贪婪模式

贪婪模式: 在重复匹配时,正则表达式默认总是尽可能多的匹配。
如:
针对⽂本dxxxdxxxd,表达式(d)(\w+)(d)中的\w+将匹配第⼀个d和最后⼀个d之间的所有字符xxxdxxx。可⻅\w+在匹配的时候,总是尽可能多的匹配符合它规则的字符。同理,带有?、*和{m,n}的重复匹配表达式都是尽可能地多匹配。

但是有时候,这种模式不是我们想要的结果,⽐如最常⻅的HTML标签匹配。假设有如下的字符串:

<table>
	<tr>
		<td>苹果</td>
		<td>桃⼦</td>
		<td>⾹蕉</td>
	</tr>
</table>

我们的意图是获取每个标签中的元素内容,那么如果你将正则表达式写成(.*)的话,你得到的是苹果桃⼦⾹蕉这么个东⻄,⽽不是“苹果”、“桃⼦”、“⾹蕉”。

在修饰匹配次数的特殊符号后再加上⼀个?问号,则可以使匹配次数不定的表达式尽可能少的匹配,使可匹配可不匹配的表达式,尽可能的"不匹配"。如果少匹配就会导致整个表达式匹配失败的时候,与贪婪模式类似,⾮贪婪模式会最⼩限度的再多匹配⼀些,以使整个表达式匹配成功。

表达式(.*?)匹配上⾯的字符串时,将只得到苹果,再次匹配下⼀个时,可以得到桃⼦,以此类推。

3. 常用正则表达式

校验数字的相关表达式:

功能 表达式
数字 ^[0-9]*$
n位的数字 ^\d{n}$
至少n位的数字 ^\d{n,}$
零和⾮零开头的数字 ^(0|[1 - 9][0-9]*)$
有两位⼩数的正实数 ^[0-9]+(.[0-9]{2})?$
⾮零的负整数 ^-[1-9]\d*$
⾮负浮点数 ^\d+(.\d+)?$
浮点数 ^(-?\d+)(.\d+)?$

特殊场景表达式:

功能 表达式
email地址 ^\w+([-+.]\w+)@\w+([-.]\w+).\w+([-.]\w+)*$
域名 [a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?
手机号码 ^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$
身份证号码 ^\d{15}|\d{18}$(15位、18位数字)
日期格式 ^\d{4}-\d{1,2}-\d{1,2}
空白行的正则表达式 \n\s*\r (可以⽤来删除空⽩⾏)
IP地址提取 \d+.\d+.\d+.\d+ (提取IP地址时有用)
腾讯QQ号 [1-9] [0-9]{4, }(腾讯QQ号从10000开始))
发布了27 篇原创文章 · 获赞 11 · 访问量 1486

猜你喜欢

转载自blog.csdn.net/weixin_45550881/article/details/104008827