《Python核心编程(第3版)》
2019年02月23日 22:26:25
1.1 简介／动机
核心提示：搜索和匹配的比较
本章通篇会使用搜索和匹配两个术语。当严格讨论与字符串中模式相关的正则表达式时，我们会用术语“匹配”（matching），指的是术语“模式匹配”（pattern-matching）。
在Python 术语中，主要有两种方法完成模式匹配：
-
“搜索”（searching）即在字符串任意部分中搜索匹配的模式； -
“匹配”（matching）是指判断一个字符串能否从起始处全部或者部分地匹配某个模式。
搜索通过 search()函数或方法来实现，而匹配通过调用 match()函数或方法实现。总之，当涉及模式时，全部使用术语“匹配”；我们按照 Python 如何完成模式匹配的方式来区分“搜索”和“匹配”。
1.2 特殊符号和字符
本节将介绍最常见的特殊符号和字符，即所谓的元字符，正是它给予正则表达式强大的功能和灵活性。
符号
| 表示法 | 描述 | 正则表达式示例 |
|---|---|---|
| literal | 匹配文本字符串的字面值 literal | foo |
| re1|re2 | 匹配正则表达式 re1 或者 re2 | foo|bar |
| . | 匹配任何字符（除了\n 之外） | b.b |
| ^ | 匹配字符串起始部分 | ^Dear |
| $ | 匹配字符串终止部分 | /bin/*sh$ |
| * | 匹配 0 次或者多次前面出现的正则表达式 | [A-Za-z0-9]* |
| + | 匹配 1 次或者多次前面出现的正则表达式 | [a-z]+.com |
| ? | 匹配 0 次或者 1 次前面出现的正则表达式 | goo? |
| {N} | 匹配 N 次前面出现的正则表达式 | [0-9]{3} |
| {M,N} | 匹配 M～N 次前面出现的正则表达式 | [0-9]{5,9} |
| […] | 匹配来自字符集的任意单一字符 | [aeiou] |
| [..x−y..] | 匹配 x ～ y 范围中的任意单一字符 | [0-9], [A-Za-z] |
| [^…] | 不匹配此字符集中出现的任何一个字符，包括某一范围的字符（如果在此字符集中出现） | [^aeiou], [^A-Za-z0-9] |
| (*|+|?|{})? | 用于匹配上面频繁出现/重复出现符号的非贪婪版本 | （、+、?、{}） .?[a-z] |
| (…) | 匹配封闭的正则表达式，然后另存为子组 | ([0-9]{3})?,f(oo|u)bar |
特殊字符
| 表示法 | 描述 | 正则表达式示例 |
|---|---|---|
| \d | 匹配任何十进制数字，与[0-9]一致（\D 与\d 相反，不匹配任何非数值型的数字） | data\d+.txt |
| \w | 匹配任何字母数字字符，与[A-Za-z0-9_]相同（\W 与之相反） | [A-Za-z_]\w+ |
| \s | 匹配任何空格字符，与[\n\t\r\v\f]相同（\S 与之相反） | of\sthe |
| \b | 匹配任何单词边界（\B 与之相反） | \bThe\b |
| \N | 匹配已保存的子组 N（参见上面的(…)) | price: \16 |
| \c | 逐字匹配任何特殊字符 c（即，仅按照字面意义匹配，不匹配特殊含义） | ., \, * |
| \A(\Z) | 匹配字符串的起始（结束）（另见上面介绍的^和$） | \ADear |
扩展表示法
| 表示法 | 描述 | 正则表达式示例 |
|---|---|---|
| (?iLmsux) | 在正则表达式中嵌入一个或者多个特殊“标记”参数（或者通过函数/方法） | （?x），（？ im） |
| (?:…) | 表示一个匹配不用保存的分组 | (?:\w+.)* |
| (?P<name>…) | 像一个仅由 name 标识而不是数字 ID 标识的正则分组匹配 | (?P<data>) |
| (?P=name) | 在同一字符串中匹配由(?P<name)分组的之前文本 | (?P=data) |
| (?#…) | 表示注释，所有内容都被忽略 | (?#comment) |
| (?=…) | 匹配条件是如果…出现在之后的位置，而不使用输入字符串；称作正向前视断言 | (?=.com) |
| (?!…) | 匹配条件是如果…不出现在之后的位置，而不使用输入字符串；称作负向前视断言 | (?!.net) |
| (?<=…) | 匹配条件是如果…出现在之前的位置，而不使用输入字符串；称作正向后视断言 | (?<=800-) |
| (?<!…) | 匹配条件是如果…不出现在之前的位置，而不使用输入字符串；称作负向后视断言 | (?<!192.168.) |
| (?(id/name)Y|N ) | 如果分组所提供的 id 或者 name（名称）存在，就返回正则表达式的条件匹配 Y，如果不存在，就返回 N ； |N 是可选项 | (?(1)y|x) |
1.2.1 使用择一匹配符号匹配多个正则表达式模式
表示择一匹配的管道符号|，也就是键盘上的竖线，表示一个“从多个模式中选择其一”的操作。
它用于分割不同的正则表达式。
| 正则表达式模式 | 匹配的字符串 |
|---|---|
| at | home | at、home |
| r2d2 | c3po | r2d2、c3po |
有了这个符号，就能够增强正则表达式的灵活性，使得正则表达式能够匹配多个字符串而不仅仅只是一个字符串。
择一匹配有时候也称作并（union）或者逻辑或（logical OR）。
1.2.2 匹配任意单个字符
点号或者句点.符号匹配除了换行符\n 以外的任何字符（Python 正则表达式有一个编译标记[S 或者 DOTALL]，该标记能够推翻这个限制，使点号能够匹配换行符）。
无论字母、数字、空格（并不包括“\n”换行符）、可打印字符、不可打印字符，还是一个符号，使用点号都能够匹配它们。
| 正则表达式模式 | 匹配的字符串 |
|---|---|
| f.o | 匹配在字母“f”和“o”之间的任意一个字符；例如 fao、f9o、f#o 等 |
| .. | 任意两个字符 |
| .end | 匹配在字符串 end 之前的任意一个字符 |
要显式匹配一个句点符号本身，必须使用反斜线转义句点符号的功能，例如“\.”。
1.2.3 从字符串起始或者结尾或者单词边界匹配
还有些符号和相关的特殊字符用于在字符串的起始和结尾部分指定用于搜索的模式。
- 如果要匹配字符串的开始位置，就必须使用脱字符
^或者特殊字符\A（反斜线和大写字母 A）。后者主要用于那些没有脱字符的键盘（例如，某些国际键盘）。 - 美元符号
$或者\Z将用于匹配字符串的末尾位置。
使用这些符号的模式与本章描述的其他大多数模式是不同的，因为这些模式指定了位置或方位。之前的“核心提示”记录了匹配（试图在字符串的开始位置进行匹配）和搜索（试图从字符串的任何位置开始匹配）之间的差别。正因如此，下面是一些表示“边界绑定”的正则表达式搜索模式的示例。
| 正则表达式模式 | 匹配的字符串 |
|---|---|
| ^From | 任何以 From 作为起始的字符串 |
| /bin/tcsh$ | 任何以/bin/tcsh 作为结尾的字符串 |
| ^Subject: hi$ | 任何由单独的字符串 Subject: hi 构成的字符串 |
特殊字符\b 和\B 可以用来匹配字符边界。
而两者的区别在于\b 将用于匹配一个单词的边界，这意味着如果一个模式必须位于单词的起始部分，就不管该单词前面（单词位于字符串中间）是否有任何字符（单词位于行首）。
同样，\B 将匹配出现在一个单词中间的模式（即，不是单词边界）。
| 正则表达式模式 | 匹配的字符串 |
|---|---|
| the | 任何包含 the 的字符串 |
| \bthe | 任何以 the 开始的字符串 |
| \bthe\b | 仅仅匹配单词 the |
| \Bthe | 任何包含但并不以 the 作为起始的字符串 |
1.2.4 创建字符集
尽管句点可以用于匹配任意符号，但某些时候，可能想要匹配某些特定字符。正因如此，发明了方括号。该正则表达式能够匹配一对方括号中包含的任何字符。
| 正则表达式模式 | 匹配的字符串 |
|---|---|
| b[aeiu]t | bat、bet、bit、but |
| [cr][23][dp][o2] | 一个包含四个字符的字符串，第一个字符是“c”或“r”，然后是“2”或“3”，后面是“d”或“p”，最后要么是“o”要么是“2”。例如，c2do、r3p2、r2d2、c3po 等 |
关于[cr][23][dp][o2]这个正则表达式有一点需要说明：如果仅允许“r2d2”或者“c3po”作为有效字符串，就需要更严格限定的正则表达式。因为方括号仅仅表示逻辑或的功能，所以使用方括号并不能实现这一限定要求。唯一的方案就是使用择一匹配，例如，r2d2|c3po。
然而，对于单个字符的正则表达式，使用择一匹配和字符集是等效的。
1.2.5 限定范围和否定
除了单字符以外，字符集还支持匹配指定的字符范围。方括号中两个符号中间用连字符（-）连接，用于指定一个字符的范围；例如，A-Z、a-z 或者 0-9 分别用于表示大写字母、小写字母和数值数字。这是一个按照字母顺序的范围，所以不能将它们仅仅限定用于字母和十进制数字上。另外，如果脱字符（^）紧跟在左方括号后面，这个符号就表示不匹配给定字符集中的任何一个字符。
| 正则表达式模式 | 匹配的字符串 |
|---|---|
| z.[0-9] | 字母“z”后面跟着任何一个字符，然后跟着一个数字 |
| [r-u][env-y][us] | 字母“r”、“s”、“t”或者“u”后面跟着“e”、“n”、“v”、“w”、“x”或者“y”，然后跟着“u”或者“s” |
| [^aeiou] | 一个非元音字符（练习：为什么我们说“非元音”而不是“辅音”？） |
| [^\t\n] | 不匹配制表符或者\n |
| [“-a] | 在一个 ASCII 系统中，所有字符都位于“”和“a”之间，即 34~97 之间 |
1.2.6 使用闭包操作符实现存在性和频数匹配
- 星号或者星号操作符
*将匹配其左边的正则表达式出现零次或者多次的情况（在计算机编程语言和编译原理中，该操作称为 Kleene 闭包）。 - 加号
+操作符将匹配一次或者多次出现的正则表达式（也叫做正闭包操作符） - 问号
？操作符将匹配零次或者一次出现的正则表达式。 - 大括号操作符
{}，里面或者是单个值或者是一对由逗号分隔的值。这将最终精确地匹配前面的正则表达式 N 次（如果是{N}）或者一定范围的次数；例如，{M ， N}将匹配 M～N 次出现。
这些符号能够由反斜线符号转义；\*匹配星号，等等。
注意：
- 在之前的表格中曾经多次使用问号（重载），这意味着要么匹配 0 次，要么匹配 1次，或者其他含义；
- 如果问号紧跟在任何使用闭合操作符的匹配后面，它将直接要求正则表达式引擎匹配尽可能少的次数。
“尽可能少的次数”是什么意思？当模式匹配使用分组操作符时，正则表达式引擎将试图“吸收”匹配该模式的尽可能多的字符。这通常被叫做贪婪匹配。问号要求正则表达式引擎去“偷懒”，如果可能，就在当前的正则表达式中尽可能少地匹配字符，留下尽可能多的字符给后面的模式（如果存在）。
| 正则表达式模式 | 匹配的字符串 |
|---|---|
| [dn]ot? | 字母“d”或者“n”，后面跟着一个“o”，然后是最多一个“t”，例如，do、no、dot、not |
| 0?[1-9] | 任何数值数字，它可能前置一个“0”，例如，匹配一系列数（表示从 1～9 月的数值），不管是一个还是两个数字 |
| [0-9]{15,16} | 匹配 15 或者 16 个数字（例如信用卡号码） |
| </?[^>]+> | 匹配全部有效的（和无效的）HTML 标签 |
| [KQRBNP][a-h][1-8]-[a-h][1-8] | 在“长代数”标记法中，表示国际象棋合法的棋盘移动（仅移动，不包括吃子和将军）。即“K”、“Q”、“R”、“B”、“N”或“P”等字母后面加上“a1”～“h8”之间的棋盘坐标。前面的坐标表示从哪里开始走棋，后面的坐标代表走到哪个位置（棋格）上 |
1.2.7 表示字符集的特殊字符
我们还提到有一些特殊字符能够表示字符集。与使用“0-9”这个范围表示十进制数相比，可以简单地使用 d 表示匹配任何十进制数字。另一个特殊字符（\w）能够用于表示全部字母数字的字符集，相当于[A-Za-z0-9_]的缩写形式，\s 可以用来表示空格字符。这些特殊字符的大写版本表示不匹配；例如，\D 表示任何非十进制数（与[^0-9]相同），等等。
| 正则表达式模式 | 匹配的字符串 |
|---|---|
| \w+-\d+ | 一个由字母数字组成的字符串和一串由一个连字符分隔的数字 |
| [A-Za-z]\w* | 第一个字符是字母；其余字符（如果存在）可以是字母或者数字（几乎等价于 Python 中的有效标识符） |
| \d{3}-\d{3}-\d{4} | 美国电话号码的格式，前面是区号前缀，例如 800-555-1212 |
| \w+@\w+.com | 以 XXX@YYY.com格式表示的简单电子邮件地址 |
1.2.8 使用圆括号指定分组
当使用正则表达式时，一对圆括号可以实现以下任意一个（或者两个）功能：
- 对正则表达式进行分组；
- 匹配子组。
关于为何想要对正则表达式进行分组的一个很好的示例是：当有两个不同的正则表达式而且想用它们来比较同一个字符串时。另一个原因是对正则表达式进行分组可以在整个正则表达式中使用重复操作符（而不是一个单独的字符或者字符集）。
使用圆括号进行分组的一个副作用就是，匹配模式的子字符串可以保存起来供后续使用。这些子组能够被同一次的匹配或者搜索重复调用，或者提取出来用于后续处理。
为什么匹配子组这么重要呢？主要原因是在很多时候除了进行匹配操作以外，我们还想要提取所匹配的模式。
| 正则表达式模式 | 匹配的字符串 |
|---|---|
| \d+(.\d*)? | 表示简单浮点数的字符串；也就是说，任何十进制数字，后面可以接一个小数点和零个或者多个十进制数字，例如“0.004”、“2”、“75.”等 |
| (Mr?s?.)?[A-Z][a-z]*[A-Za-z-]+ | 名字和姓氏，以及对名字的限制（如果有，首字母必须大写，后续字母小写），全名前可以有可选的“Mr.”、“Mrs.”、“Ms.”或者“M.”作为称谓，以及灵活可选的姓氏，可以有多个单词、横线以及大写字母 |
1.2.9 扩展表示法
我们还没介绍过的正则表达式的最后一个方面是扩展表示法，它们是以问号开始?…。我们不会为此花费太多时间，因为它们通常用于在判断匹配之前提供标记，实现一个前视（或者后视）匹配，或者条件检查。
尽管圆括号使用这些符号，但是只有?P<name>表述一个分组匹配，所有其他的都没有创建一个分组。
| 正则表达式模式 | 匹配的字符串 |
|---|---|
| (?:\w+.)* | 以句点作为结尾的字符串，例如“google.”、“twitter.”、“facebook.”，但是这些匹配不会保存下来供后续的使用和数据检索 |
| (?#comment) | 此处并不做匹配，只是作为注释 |
| (?=.com) | 如果一个字符串后面跟着“.com”才做匹配操作，并不使用任何目标字符串 |
| (?!.net) | 如果一个字符串后面不是跟着“.net”才做匹配操作 |
| (?<=800-) | 如果字符串之前为“800-”才做匹配，假定为电话号码，同样，并不使用任何输入字符串 |
| (?<!192.168.) | 如果一个字符串之前不是“192.168.”才做匹配操作，假定用于过滤掉一组 C 类 IP 地址 |
| (?(1)y|x) | 如果一个匹配组 1（\1）存在，就与 y 匹配；否则，就与 x 匹配 |
