python - 文本处理 之 re正则表达式
目录
一、正则表达式元字符
1.正则表达式元字符
| 模式 | 描述 |
| ^ | 匹配字符串的开头 |
| $ | 匹配字符串的末尾。 |
| . | 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。 |
| [...] | 用来表示一组字符,单独列出：[amk] 匹配 'a'，'m'或'k' |
| [^...] | 不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。 |
| re* | 匹配0个或多个的表达式。 |
| re+ | 匹配1个或多个的表达式。 |
| re? | 匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式 |
| re{n} |
|
| re{n,} | 精确匹配n个前面表达式。 |
| re{n,m} | 匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式 |
| a|b | 匹配a或b |
| (re) | G匹配括号内的表达式，也表示一个组 |
| (?imx) | 正则表达式包含三种可选标志：i, m, 或 x 。只影响括号中的区域。 |
| (?-imx) | 正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。 |
| (?: re) | 类似 (...), 但是不表示一个组 |
| (?imx: re) | 在括号中使用i, m, 或 x 可选标志 |
| (?-imx: re) | 在括号中不使用i, m, 或 x 可选标志 |
| (?#...) | 注释. |
| (?= re) | 前向肯定界定符。如果所含正则表达式，以 ... 表示，在当前位置成功匹配时成功，否则失败。但一旦所含表达式已经尝试，匹配引擎根本没有提高；模式的剩余部分还要尝试界定符的右边。 |
| (?! re) | 前向否定界定符。与肯定界定符相反；当所含表达式不能在字符串当前位置匹配时成功 |
| (?> re) | 匹配的独立模式，省去回溯。 |
| \w | 匹配字母数字 |
| \W | 匹配非字母数字 |
| \s | 匹配任意空白字符，等价于 [\t\n\r\f]. |
| \S | 匹配任意非空字符 |
| \d | 匹配任意数字，等价于 [0-9]. |
| \D | 匹配任意非数字 |
| \A | 匹配字符串开始 |
| \Z | 匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。 |
| \z | 匹配字符串结束 |
| \G | 匹配最后匹配完成的位置。 |
| \b | 匹配一个单词边界，也就是指单词和空格间的位置。例如， 'er\b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er'。 |
| \B | 匹配非单词边界。'er\B' 能匹配 "verb" 中的 'er'，但不能匹配 "never" 中的 'er'。 |
| \n, \t, 等. | 匹配一个换行符。匹配一个制表符。等 |
| \1...\9 | 匹配第n个分组的子表达式。 |
| \10 | 匹配第n个分组的子表达式，如果它经匹配。否则指的是八进制字符码的表达式。 |
2.转义字符
'\\\\'表示匹配字符\\
\\ 表示匹配字符\
\. 表示匹配字符.
\* 表示匹配字符*
r'\\'表示\\，不作转义
'\+'表示+号 或者r'[+]'也表示加号
3.正则表达式修饰符
| 修饰符 | 描述 |
| re.I | 使匹配对大小写不敏感 |
| re.L | 做本地化识别（locale-aware）匹配 |
| re.M | 多行匹配，影响 ^ 和 $ |
| re.S | 使 . 匹配包括换行在内的所有字符 |
| re.U | 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B. |
| re.X | 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。 |
例子:re.search(r'[a-z]+','liuyaN1234ab9', re.I).group() #返回'liuyaN'，对大小写不敏感
4.正则表达式实例
字符匹配
| 实例 | 描述 |
| python | 匹配 "python". |
字符类
| 实例 | 描述 |
| [Pp]ython | 匹配 "Python" 或 "python" |
| rub[ye] | 匹配 "ruby" 或 "rube" |
| [aeiou] | 匹配中括号内的任意一个字母 |
| [0-9] | 匹配任何数字。类似于 [0123456789] |
| [a-z] | 匹配任何小写字母 |
| [A-Z] | 匹配任何大写字母 |
| [a-zA-Z0-9] | 匹配任何字母及数字 |
| [^aeiou] | 除了aeiou字母以外的所有字符 |
| [^0-9] | 匹配除了数字外的字符 |
特殊字符类
| 实例 | 描述 |
| . | 匹配除 "\n" 之外的任何单个字符。要匹配包括 '\n' 在内的任何字符，请使用象 '[.\n]' 的模式。 |
| \d | 匹配一个数字字符。等价于 [0-9]。 |
| \D | 匹配一个非数字字符。等价于 [^0-9]。 |
| \s | 匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。 |
| \S | 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。 |
| \w | 匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'。 |
| \W | 匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'。 |
5.贪婪与非贪婪模式
“贪婪”，是在多种长度的匹配字符串中，选择最长的那一个，“非贪婪”则选择最短那个。
(1)默认情况下，正则表达式为贪婪模式，会“抓取”满足匹配最长字符串，如".+"会抓取满足模式的最长字符
(2)操作符"？"可进入非贪婪模式，该操作符可用在"*","+","?"的后面，要求正则匹配的越少越好 ，如'.*?'
贪婪模式
s="This is a number 234-235-22-423"
r=re.match(".+(\d+-\d+-\d+-\d+)",s)
r.group(1)
#'4-235-22-423'
非贪婪模式
r=re.match(".+?(\d+-\d+-\d+-\d+)",s)
r.group(1)
#'234-235-22-423'
二、正则表达式函数
1.match起始位置查找
re.match 从字符串起始位置匹配，匹配失败返回none
(1)语法参数
re.match(pattern, string, flags=0)
pattern:匹配的正则表达式
string:要匹配的字符串。
flags:标志位，设置匹配方式，参考可选标志
(2)案例
re.match('www', 'www.runoob.com')
#<_sre.SRE_Match object; span=(0, 3), match='www'>
print(re.match('www', 'www.runoob.com').span())
#(0,3)
print(re.match('com', 'www.runoob.com'))
#None
2.search()全字段查找
re.search 在整个字符串查找并返回第一个匹配成功的
(1)语法参数
re.search(pattern, string, flags=0)
pattern:匹配的正则表达式
string:要匹配的字符串。
flags:标志位，设置匹配方式，参考可选标志
(2)案例
import re
re.search('www', 'www.runoob.com').span()
#(0, 3)
re.search('com', 'www.runoob.com').span()
#(11, 14)
3.findall()返回列表
re.findall在整个字符串查长，列表返回所有匹配的结果，没有找到则返回空列表
(1)语法参数
findall(string, pos, endpos)
string : 待查找的字符串。
pos : 字符串的起始位置，默认为 0,可选。
endpos : 字符串的结束位置，默认为字符串的长度,可选。
(2)案例
p = re.compile(r'\d+')
print(p.findall('one1two2three3four4'))
#['1', '2', '3', '4']
relink = '<a href="(.*)">(.*)</a>'
info = '<a href="http://www.baidu.com">baidu</a>'
cinfo = re.findall(relink,info)
#[('http://www.baidu.com', 'baidu')]
p.findall('run88oob123google456', 0, 10)
#['88', '12']
4.finditer()返回迭代
finditer在整个字符查找，对匹配到的结果返回一个迭代器
(1)语法参数
re.finditer(pattern, string, flags=0)
pattern:匹配的正则表达式
string:要匹配的字符串。
flags:标志位，设置匹配方式，参考可选标志
(2)案例
import re
p = re.compile(r'\d+')
res=p.finditer('one1two2three3four4')
for i in res :
print(i.group(0))
5.group()取指定组
group()用来提出分组截获的字符串
group(0)就是匹配正则表达式整体结果
group(1) 列出第一个括号匹配部分,group(2) 列出第二个括号匹配部分，以此类推
没有匹配成功返回None
如果组号是负的或者比pattern中定义的组号大，那么将抛出IndexError异常
import re
a = "123abc456"
re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(0)
#返回整体123abc456
re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(1)
#123
re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(2)
#abc
re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(3)
#456
re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(1,3)
#返回元组('123','456')
6.groups()用元组返回所有结果
以元组返回所有匹配部分，相当于group(0)
import re ;
pa=re.compile('(pyth[jzd]*n)(.*)(pyth[jzd]*n)');
r='dffffdpythjnaadfpythjznfdd';
a=pa.search(r).groups();
#('pythjn', 'aadf', 'pythjzn')
7.start()获取匹配开始位置
获取分组匹配的子串在整个字符串中的起始位置
例子:参考下例
8.end()获取匹配结束位置
获取分组匹配的子串在整个字符串中的结束位置
例子:参考下例
9.span()返回 (start,end)
import re
pattern = re.compile(r'\d+')
m = pattern.match('one12twothree34four', 3, 10)
m.start(0) #3
m.end(0) #5
m.span(0) #(3,5)
10.compile 生成正则表达式对象
compile编译正则表达式，生成一个正则表达式对象，供 match() 和 search() 使用
(1)语法参数
re.compile(pattern[, flags])
pattern : 一个字符串形式的正则表达式
flags : 可选，表示匹配模式，具体参数为：
| 修饰符 | 描述 |
| re.I | 使匹配对大小写不敏感 |
| re.L | 做本地化识别（locale-aware）匹配 |
| re.M | 多行匹配，影响 ^ 和 $ |
| re.S | 使 . 匹配包括换行在内的所有字符 |
| re.U | 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B. |
| re.X | 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。 |
(2)例子
pattern = re.compile(r'([a-z]+) ([a-z]+)', re.I)
m = pattern.match('Hello World Wide Web')
11.re.sub替换字符串中的匹配项
re.sub(pattern, repl, string, count=0, flags=0)
pattern : 正则中的模式字符串。
string : 要被查找替换的原始字符串。
count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。
import re
phone = "2004-959-559 # 这是一个国外电话号码";
# 删除字符串中的 Python注释
num = re.sub(r'#.*$', "", phone);
# 删除非数字字符
num = re.sub(r'\D', "", phone);
#删除指定括号及括号内的信息
url="#271,204 in Tools & Home Improvement (See Top 100 in Tools & Home Improvement)"
num = re.sub('\(See .*?\)', "", url)
12.re.subn()替换字符串中的匹配项
re.subn()函数与re.sub()函数类似，但re.subn()还会返回替换的次数
import re ;
phone = "2004-959-559 # 这是一个国外电话号码";
num = re.subn(r'#.*$', "", phone); # 删除字符串中的 Python注释
print( num); ##结果:('2004-959-559 ', 1)
13.re.split()分割字符
split 方法按照能够匹配的子串将字符串分割后返回列表
(1)语法参数
re.split(pattern, string[, maxsplit=0, flags=0])
pattern:匹配的正则表达式
string:要匹配的字符串。
maxsplit:分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数。
flags:标志位
| 修饰符 | 描述 |
| re.I | 使匹配对大小写不敏感 |
| re.L | 做本地化识别（locale-aware）匹配 |
| re.M | 多行匹配，影响 ^ 和 $ |
| re.S | 使 . 匹配包括换行在内的所有字符 |
| re.U | 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B. |
| re.X | 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。 |
(2)例子
m = re.split( '\d+' , 'dkjj23jjjj44')
#['dkjj' , 'jjjj' , '' ]
m = re.split( '(\d+)' , 'dkjj23jjjj44')
#匹配部分加上（）
#['dkjj' , '23' , 'jjjj' , '44' , '']
m = re.split( '\d+' , 'dkjj23jjjj44as')
#匹配部分加上了（）
#['dkjj' , 'jjjj' , 'as' ]
m = re.split( '(\d+)' , 'dkjj23jjjj44as')
#()能够保留匹配的项
#['dkjj' , '23' , 'jjjj' , '44' , 'as' ]
line="abc aa;bb,cc | dd(xx).xxx 12.12' xxxx"
re.split(r' ',line)
#['abc', 'aa;bb,cc', '|', 'dd(xx).xxx', "12.12'\txxxx"]
#加将空格放可选框内[]内
re.split(r'[ ]',line)
#['abc', 'aa;bb,cc', '|', 'dd(xx).xxx', "12.12'\txxxx"]
re.split(r'[\s]',line) #['abc', 'aa;bb,cc', '|', 'dd(xx).xxx', "12.12'", 'xxxx']
#多字符匹配
re.split(r'[;,]',line)
#['abc aa', 'bb', "cc | dd(xx).xxx 12.12'\txxxx"]
re.split(r'[;,\s]',line)
#['abc', 'aa', 'bb', 'cc', '|', 'dd(xx).xxx', "12.12'", 'xxxx']
#使用括号捕获分组的适合，默认保留分割符
re.split('([;])',line)
#['abc aa', ';', "bb,cc | dd(xx).xxx 12.12'\txxxx"]
#去掉分隔符，加?:
re.split(r'(?:;)',line)
#['abc aa', "bb,cc | dd(xx).xxx 12.12'\txxxx"]
三、常用匹配规则案例
1.邮箱规则
邮箱规则1：pattern = re.compile(r'\b[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,4}\b')
邮箱规则2：reg_str1 = r'([\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+)'
2.匹配特定数字
(1)匹配正整数
^[1-9]\d*
(2)匹配负整数
−[1−9]\d∗
(3)匹配整数
^-?[1-9]\d*
(4)匹配非负整数（正整数 + 0）
[1−9]\d∗|0
(5)匹配非正整数（负整数+0）
^-[1-9]\d*|0
(6)匹配正浮点数
[1−9]\d∗\.\d∗|0\.\d∗[1−9]\d∗
(7)匹配负浮点数
^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)
(8)匹配浮点数
−?([1−9]\d∗\.\d∗|0\.\d∗[1−9]\d∗|0?\.0+|0)
(9(匹配非负浮点数（正浮点数+0）
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0
(10)匹配非正浮点数（负浮点数 + 0）
(−([1−9]\d∗\.\d∗|0\.\d∗[1−9]\d∗))|0?\.0+|0
3.匹配特定字符串
(1)匹配由26个英文字母组成的字符串
^[A-Za-z]+
(2)匹配由26个英文字母的大写组成的字符串
[A−Z]+
(3)匹配由26个英文字母的小写组成的字符串
^[a-z]+
(4)匹配由数字和26个英文字母组成的字符串
[A−Za−z0−9]+
(5)匹配由数字、26个英文字母或者下划线组成的字符串
^\w+$
(6)匹配中文字符
[\u4e00-\u9fa5]
^[\u4e00-\u9fa5]+$
(7)匹配双字节字符(包括汉字在内)
[^\x00-\xff]
(8)匹配空白行
\n\s*\r
(9)匹配HTML标记
<(\S*?)[^>]*>.*?</\1>|<.*? />
(10)匹配首尾空白字符
^\s*|\s*$
(11)匹配Email地址
\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
^[-\w]+@[a-zA-Z0-9]+\.[a-zA-Z]{2,4}$
(12)匹配网址URL
[a-zA-z]+:[^\s]*
或
^((ht|f)tp(s)?|file):\/\/[-\w]+((\.[-\w]+)+)?((\/[-\w]+)+)?(\.[a-zA-Z]+)?(\/)?((\?[a-zA-Z]+[0-9a-zA-Z_]*\=[-\w]+)((&[a-zA-Z]+[0-9a-zA-Z_]*\=[-\w]+)+)?)?$
(13)匹配帐号是否合法
(字母开头，允许5-16字节，允许字母数字下划线)
^[a-zA-Z][a-zA-Z0-9_]{4,15}$
(14)匹配国内电话号码
\d{3}-\d{8}|\d{4}-\d{7}
(15)匹配腾讯QQ号
[1-9][0-9]{4,}
(16)匹配中国邮政编码
[1-9]\d{5}(?!\d)
(17)匹配身份证
\d{15}|\d{18}
(18)匹配ip地址
\d+\.\d+\.\d+\.\d+
(19)中文及标点符号
^([\u4e00-\u9fa5\u3002\uff1f\uff01\uff0c\u3001\uff1b\uff1a\u201c\u201d\u2018\u2019\uff08\uff09\u300a\u300b\u3008\u3009\u3010\u3011\u300e\u300f\u300c\u300d\ufe43\ufe44\u3014\u3015\u2026\u2014\uff5e\ufe4f\uffe5])+$
4.其他匹配案例
(1)匹配多个打印机品牌
pi='Epson|HP|Dell|Canon|Xerox|Brother|Lexmark|Samsung|Kodak'
orgbrand_list = re.findall(pi, product_name) #返回列表
(2)匹配硒鼓model
pi = 'CE\d+[a-zA-Z]*|TN\d+[a-zA-Z]*|[a-zA-Z]+\d+[a-zA-Z]*|\d+[a-zA-Z]+\d+[a-zA-Z]*|\d+[a-zA-Z]+|[a-zA-Z]{2,4}-\d{2,9}'
model_list = re.findall(pi, product_name)