为什么未编译，反复使用的正则表达式在Python 3中如此慢？

Question

当回答这个问题时，我以为我知道Python如何缓存正则表达式。

但是后来我想我会比较两种情况进行测试：

1. 一个简单正则表达式的单个编译，然后是该已编译正则表达式的10个应用程序。
2. 一个未编译的正则表达式的10个应用程序（我曾预期性能会稍差一些，因为该正则表达式必须先编译一次，然后缓存，然后在缓存中查找9次）。

但是，结果令人震惊（在Python 3.3中）：

>>> import timeit
>>> timeit.timeit(setup="import re", 
... stmt='r=re.compile(r"\w+")\nfor i in range(10):\n r.search("  jkdhf  ")')
18.547793477671938
>>> timeit.timeit(setup="import re", 
... stmt='for i in range(10):\n re.search(r"\w+","  jkdhf  ")')
106.47892003890324

慢了5.7倍！在Python 2.7中，仍然增加了2.5倍，这也比我预期的要多。

正则表达式的缓存在Python
2和3之间是否发生了变化？该文档似乎没有建议。

Answer 1

代码 已 更改。

在Python
2.7中，缓存是一个简单的字典。如果其中_MAXCACHE存储了多个项目，则在存储新项目之前将清除整个缓存。缓存查找只需要构建一个简单的键并测试字典，请参见2.7的实现_compile()

在Python 3.x中，缓存已由@functools.lru_cache(maxsize=500, typed=True)decorator代替。这个装饰做
多
更多的工作，包括螺纹锁固，调整缓存LRU队列和维护缓存统计信息（通过访问re._compile.cache_info()）。参见3.3.0执行_compile()和functools.lru_cache()。

其他人也注意到了同样的减速，并在Python
Bugtracker中提交了问题16389。我希望3.4会再次更快。要么lru_cache改进实现，要么re模块将再次移至自定义缓存。

更新：对于版本4b4dddd670d0（hg）/
0f606a6（git），缓存更改已恢复为3.1中的简单版本。Python版本3.2.4和3.3.1包括该修订版。

从那时起，在Python
3.7中，模式缓存已根据常规更新为自定义FIFO缓存实现dict（依赖于插入顺序，并且与LRU不同，它不考虑撤出时最近使用缓存中的项目的最新情况）。