re正则表达式详解

正则表达式

正则表达式：正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。

正则表达式的作用，以及使用场景

1.用于从字符串中匹配满足某种规则的内容，多数用于爬虫应用程序
2.判断字符串内容是否满足某种规则，多用于验证用户输入。例如密码是否规范，手机号是否正确等

表达式的符号

正则是一堆特殊符号组成的，我们主要学习的就是这些特殊符号

元字符	描述
.	匹配任意除换行符"\n"外的字符(在DOTALL模式中也能匹配换行符）
\	将下一个字符标记符、或一个向后引用、或一个八进制转义符。例如，“\\n”匹配\n，“\n”匹配换行符。序列“\\”匹配“\”而“\(”则匹配“(”。
^	匹配行首，在多行模式中匹配每一行的开头。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。
$	匹配行尾，在多行模式中匹配每一行的末尾。如果设置了RegExp对象的Multiline属性，$也匹配“\n”或“\r”之前的位置。
*	匹配前面的子表达式任意次。例如，zo*能匹配“z”，也能匹配“zo”以及“zoo”。*等价于{0,}。
+	匹配前面的子表达式一次或多次(大于等于1次）。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。等价于{1,}。
{n}	n是一个非负整数。匹配确定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个o。
{n,}	n是一个非负整数。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。
{n,m}	m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”将匹配“fooooood”中的前三个o为一组，后三个o为一组。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。
?	匹配前面的子表达式零次或一次。例如，“do(es)?”可以匹配“do”或“does”。?等价于{0,1}。
?	当该字符紧跟在任何一个其他限制符（*,+,?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少地匹配所搜索的字符串，而默认的贪婪模式则尽可能多地匹配所搜索的字符串。例如，对于字符串“oooo”，“o+”将尽可能多地匹配“o”，得到结果[“oooo”]，而“o+?”将尽可能少地匹配“o”，得到结果 [‘o’, ‘o’, ‘o’, ‘o’]
x|y	匹配x或y。例如，“z|food”能匹配“z”或“food”(此处请谨慎)。“[zf]ood”则匹配“zood”或“food”。
[xyz]	字符集合。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”。
[^xyz]	负值字符集合。匹配未包含的任意字符。例如，“[ ^ abc]”可以匹配“plain”中的“plin”任一字符。
[a-z]	字符范围。匹配指定范围内的任意字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。注意:只有连字符在字符组内部时,并且出现在两个字符之间时,才能表示字符的范围; 如果出字符组的开头,则只能表示连字符本身.
[^a-z]	负值字符范围。匹配任何不在指定范围内的任意字符。例如，“[ ^ a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。
\b	匹配一个单词的边界，也就是指单词和空格间的位置（即正则表达式的“匹配”有两种概念，一种是匹配字符，一种是匹配位置，这里的\b就是匹配位置的）。例如，“er\b”可以匹配“never”中的“er”，但不能匹配“verb”中的“er”；“\b1_”可以匹配“1_23”中的“1_”，但不能匹配“21_3”中的“1_”。
\B	匹配非单词边界。“er\B”能匹配“verb”中的“er”，但不能匹配“never”中的“er”
\s	匹配任何不可见字符，包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]。
\S	匹配任何可见字符。等价于[ ^ \f\n\r\t\v]。
\w	匹配包括下划线的任何单词字符。类似但不等价于“[A-Za-z0-9_]”，这里的"单词"字符使用Unicode字符集。
\W	匹配任何非单词字符。等价于“[ ^ A-Za-z0-9_]”。
\d	匹配一个数字字符。等价于[0-9]。grep 要加上-P，perl正则支持
\D	匹配一个非数字字符。等价于[ ^ 0-9]。grep要加上-P，perl正则支持
\n	匹配一个换行符。等价于\x0a和\cJ。
\r	匹配一个回车符。等价于\x0d和\cM。
\t	匹配一个制表符。等价于\x09和\cI。
( )	将( 和 ) 之间的表达式定义为“组”（group），并且将匹配这个表达式的字符保存到一个临时区域（一个正则表达式中最多可以保存9个），它们可以用 \1 到\9 的符号来引用。
(?:pattern)	非获取匹配，匹配pattern但不获取匹配结果，不进行存储供以后使用。这在使用或字符“(|)”来组合一个模式的各个部分时很有用。例如“industr(?:y|ies)”就是一个比“industry|industries”更简略的表达式。
|	将两个匹配条件进行逻辑“或”（Or）运算。例如正则表达式(him|her) 匹配"it belongs to him"和"it belongs to her"，但是不能匹配"it belongs to them."。注意：这个元字符不是所有的软件都支持的。

首先介绍的是re模块的 findall 方法，该方法用于从字符串中获取所有匹配成功的内容：

字符匹配实例

import re
print(re.findall('.','123\n\t你好\linwowo\r'))
输出：['1', '2', '3', '\t', '你', '好', '\\', 'l', 'i', 'n', 'w', 'o', 'w', 'o', '\r']

print(re.findall('\(|\\n','123\n\t(你好)\nlinwowo\n'))
输出：['\n', '(', '\n', '\n']

print(re.findall('^1','123(你好)\nlinwowo'))
输出：['1']  #如果表达式不是匹配1，而是匹配wo输出位[]
print(re.findall('^1','123(你好)\n1linwowo',re.M))
输出：['1', '1']

print(re.findall('wo$','123(你好)\n1linwowo'))
输出：['wo']

print(re.findall('wo*','123linwow o(你好)1linwwowooo'))
输出：['wo', 'w', 'w', 'wo', 'wooo']
print(re.findall('w*','你好linwwowo'))
输出：['', '', '', '', '', 'ww', '', 'w', '', '']

print(re.findall('wo+','wwooowoo你好linwwowo'))
输出：['wooo', 'woo', 'wo', 'wo']

print(re.findall('wo{2}','wwooowoo你好linwwowo'))
输出：['woo', 'woo']

print(re.findall('wo{2,}','wwooowoo你好linwwowo'))
输出：['wooo', 'woo']

print(re.findall('wo{2,3}','wwoooowooo你好linwwoowo'))
输出：['wooo', 'wooo', 'woo']

print(re.findall('wo?','wooowooo你好linwwoowo'))
输出：['w', 'wo', 'wo', 'w', 'wo', 'wo']
print(re.findall('lin(wo)?','linwowlin你好linwowo'))
输出：['wo', '', 'wo']

print(re.findall('hi|lin','hiwowlin你好'))
输出：['hi', 'lin']
print(re.findall('(?:hi|lin)wow','hiwowlin你好linwow'))
输出：['hiwow', 'linwow']

print(re.findall('[hl]','hiwowlin你好linwow'))
输出：['h', 'l', 'l']

print(re.findall('[^hliwon]','hi123lin你好linwow'))
输出：['1', '2', '3', '你', '好']

print(re.findall('[a-z]','123你好linwow'))
输出:['l', 'i', 'n', 'w', 'o', 'w']
    
print(re.findall('[^a-z]','123你好linwow'))
输出：['1', '2', '3', '你', '好']

print(re.findall(r'er\b','never verb'))
输出：['never'] #必须要用r对正则表达式进行转换

print(re.findall('er\B','never verrb'))
输出：['er']

print(re.findall('\s','never verrb '))
输出：[' ', ' ']

print(re.findall('\S','never verrb '))
输出：['n', 'e', 'v', 'e', 'r', 'v', 'e', 'r', 'r', 'b']

print(re.findall('\w','[never]*\ve_rb你好) '))
输出：['n', 'e', 'v', 'e', 'r', 'e', '_', 'r', 'b', '你', '好']

print(re.findall('\W','[never]*\ve_rb你好) '))
输出：['[', ']', '*', '\x0b', ')', ' ']

print(re.findall('\d','123你好linwow'))
输出：['1', '2', '3']

print(re.findall('\D','123你好linwow'))
输出：['你', '好', 'l', 'i', 'n', 'w', 'o', 'w']

print(re.findall('\n','123\x0a你好\cJlinwow'))
输出：['\n']

print(re.findall('\r','123\x0d你好\cMlinwow'))
输出：['\r']

print(re.findall('\t','123\x09你好\cIlinwow'))
输出：['\t']

语法与释义：
[A-Za-z0-9] ：26个大写字母、26个小写字母和0至9数字；
，：分割；
[A,H,T,W] ：包含A或H或T或W字母；
“^([]{})([]{})([]{})$”= “开始（[包含内容]{长度}）（[包含内容]{长度}）（[包含内容]{长度}）结束”；

多行匹配

^: 以什么开头 ；
$: 以什么结尾 ；
re.S：将\n也能被.匹配 ；
re.I：不区分大小写 ，系统默认的第三个参数就是系统会默认re.I，如果想让这里的re.I起作用，写成flags=re.I即可；
re.M：结合^ $来使用，完成多行匹配。

print(re.findall(r'^lin.+wow$', 'lin_name_wow\nlin_age_wow\nwow_lin\nlin_oo', re.M))
输出：['lin_name_wow', 'lin_age_wow']

分组

语法	说 明	表达式	匹配字符串
(?P)	分组，除了原有的编号外再指定一个额外的别名	(?Pabc){2}	abcabc
(?P=name)	引用别名为的分组匹配到字符串	(?P\d)abc(?P=id)	1abc15abc5
<number>	引用编号为的分组匹配到字符串	(\d)abc\1	1abc15abc5

1.从左往右数数 ( 进行编号，自己的分组从1开始，group(0)代表匹配到的目标整体
2.(?: … )：取消所属分组，()就是普通()，可以将里面的信息作为整体包裹，但不产生分组

regexp = re.compile('(?:(?:http://)(.+)/)')  # 生成正则对象
target = regexp.match('http://www.xxx.com/')
print(target.group(1))  
输出：www.xxx.com

常用方法

1.match()
re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

print(re.match('http://(.+)/', 'http://www.xxx.com/'))
输出：<re.Match object; span=(0, 21), match='http://www.xxx.com/'>

我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。
2、search()
re.search 会在字符串内查找模式匹配，直到找到第一个匹配。

print(re.search('http://(.{11})/', 'wwwhttp://www.xxx.com/httpwwwhttp://www.xxx.com/'))
输出：<re.Match object; span=(3, 22), match='http://www.xxx.com/'>

3、findall()
re.findall在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

print(re.findall('http://(.{11})/', 'wwwhttp://www.xxx.com/httpwwwhttp://www.yyy.com/'))
输出：['www.xxx.com', 'www.yyy.com']

4、split()
re.split 方法按照能够匹配的子串将字符串分割后返回列表。

print(re.split('\s', '123 456\n789\t000'))
输出：['123', '456', '789', '000']

5、sub()
re.sub用于替换字符串中的匹配项。(1).不参与匹配的原样带下 (2)…参与匹配的都会被替换为指定字符串(3).在指定字符串值\num拿到具体分组 (4)…其他字符串信息都是原样字符串

print(re.sub('[0-9]+', '数字', 'abc123你好'))
输出：abc数字你好
print(re.sub('(?:[a-z]+)(.{2})(\d+)(.{2})', r'\3\1', '《abc你好123世界》'))
输出：《世界你好》

6、compile（）
re.compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。

1.
result = re.findall(r'^http://.+/$', 'http://www.xxx.com/\nhttp://www.yyy.com.cn/', re.M)
for res in result:
    t = re.match('http://(.+)/', res)
    print(t.group(1))
输出：www.xxx.com
	 www.yyy.com.cn
2.
regexp = re.compile('(?:(?:http://)\((.+)\)/)')  # 生成正则对象
target = regexp.match('http://(www.yyy.com)/')
print(target.group(1))
输出：www.yyy.com

re.match与re.search与re.findall的区别：
re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。re.findall在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

贪婪匹配与非贪婪匹配

贪婪模式就是匹配最长的字符串，非贪婪模式就是匹配最短字符串。
默认情况下匹配都是贪婪模式，如果要改成非贪婪模式，只需要量词后面加上一个问号?。
使用贪婪模式还是非贪婪模式，这主要取决于我们的需求。但有一点，非贪婪模式的性能一定是高于贪婪模式的。

*?,+?,??,{m,n}? 前面的*,+,?等都是贪婪匹配，也就是尽可能匹配，后面加?号使其变成惰性匹配