在 Python 中编译正则表达式

Posted 2023-02-23

【中文标题】在 Python 中编译正则表达式

【英文标题】：Compiling Regular Expressions in Python

【发布时间】：2013-01-23 05:36:46

【问题描述】：

我正在阅读 Doug Hellman 的“Python 标准库示例”并遇到了这个问题：

"1.3.2 编译表达式 re 包括用于将正则表达式作为文本字符串处理的模块级函数，但编译程序经常使用的表达式更有效。"

我无法按照他的解释解释为什么会这样。他说“模块级函数维护一个编译表达式的缓存”，并且由于“缓存的大小”是有限的，“使用编译表达式直接避免了缓存查找开销。”

如果有人能解释或指导我解释为什么编译程序经常使用的正则表达式更有效，以及这个过程实际上是如何工作的，我将不胜感激。

【参考方案1】：

我相信他想说的是，您不应该在循环内编译正则表达式，而应在循环外编译。然后，您可以在循环内运行已编译的代码。

代替：

while true: 
    result = re.match('A', str)

你应该输入：

regex = re.compile('A')
while true:
    result = regex.match(str)

基本上re.match(pattern, str)结合了编译和匹配步骤。在循环内编译相同的模式效率低下，因此应该在循环外提升。

请参阅蒂姆的答案以了解正确的推理。

【讨论】：

这是不正确的。 Python 编译每个正则表达式并缓存它们以供以后重用，因此它们在每次迭代中不会重新编译。通过预编译正则表达式可以避免的唯一事情是每次迭代都进行缓存查找。

@TimPietzcker 我最近才开始研究 Python，所以我想我知道我在说什么。感谢您纠正我。

我刚刚做了一些测试，看来我的答案不太正确。我会进一步调查。

我已经打开了a new question，希望能深入了解这个...

【参考方案2】：

嗯。这很奇怪。到目前为止，我的知识（除了其他来源，from this question）建议了我的初步答案：

---

第一个答案

Python 会缓存您最近使用的 100 个正则表达式，因此即使您没有显式编译它们，也不必在每次使用时都重新编译它们。

但是，有两个缺点：当达到 100 个正则表达式的限制时，整个缓存都会被核弹，所以如果你连续使用 101 个不同的正则表达式，每次都会重新编译每个正则表达式。嗯，这不太可能，但仍然如此。

其次，为了确定一个正则表达式是否已经编译，解释器每次都需要在缓存中查找正则表达式，这确实需要一些额外的时间（但并不多，因为字典查找非常快）。

因此，如果您显式编译您的正则表达式，您可以避免这个额外的查找步骤。

---

更新

我刚刚做了一些测试（Python 3.3）：

>>> import timeit
>>> timeit.timeit(setup="import re", stmt='''r=re.compile(r"\w+")\nfor i in range(10):\n r.search("  jkdhf  ")''')
18.547793477671938
>>> timeit.timeit(setup="import re", stmt='''for i in range(10):\n re.search(r"\w+","  jkdhf  ")''')
106.47892003890324

所以看起来没有进行缓存。也许这是 timeit.timeit() 运行的特殊条件的一个怪癖？

另一方面，在 Python 2.7 中，差异并不明显：

>>> import timeit
>>> timeit.timeit(setup="import re", stmt='''r=re.compile(r"\w+")\nfor i in range(10):\n r.search("  jkdhf  ")''')
7.248294908492429
>>> timeit.timeit(setup="import re", stmt='''for i in range(10):\n re.search(r"\w+","  jkdhf  ")''')
18.26713670282241

【讨论】：

谢谢蒂姆！我赞成这个和你关于这个的新发布的问题。这很有帮助——非常感谢！

【参考方案3】：

在我看来，作者只是在说编译正则表达式并保存它比指望它之前编译的版本仍然保存在模块的有限大小的内部缓存中更有效。这可能是因为编译它们所需的工作量加上必须首先发生的额外缓存查找开销大于客户端自己存储它们。