Java：Matcher.find使用高cpu利用率

Question

我正在使用mod安全规则https://github.com/SpiderLabs/owasp-modsecurity-crs清理用户输入数据。在将用户输入与mod security rule正则表达式匹配时，我面临着cpu激增和延迟。总的来说，它包含500个正则表达式来检查不同类型的攻击（xss、badrobots、generic和sql）。对于每个请求，我检查所有参数并对照所有这500个正则表达式进行检查。我正在使用Matcher。查找以检查参数。在这种情况下，一些参数落在无限循环中，我使用下面的技术解决了这个问题。

取消长时间运行的正则表达式匹配？。

清理一个用户请求大约需要500毫秒，cpu%迅速增长。我使用visualvm进行了分析。Java语言net与我的测试套件runner。

Cpu配置文件输出

请帮助我降低cpu使用率%和平均负载？

Answer 1

我认为这是问题的根源，而不是regex性能本身：

对于每个请求，我检查所有参数并对照所有这500个正则表达式进行检查

无论你的正则表达式有多快，这仍然是大量的工作。我不知道您有多少个参数，但即使只有很少的参数，仍然需要在每个请求中检查数千个正则表达式。这会杀死你的CPU。

除了通过预编译和/或简化它们来提高正则表达式性能等显而易见的事情之外，您还可以执行以下操作来减少正则表达式检查的数量：

>

根据参数类型对用户输入进行正验证。例如，如果某个参数必须是一个简单的数字，则不要浪费时间检查它是否包含恶意XML脚本。只需检查它是否匹配[0-9]（或类似的简单内容）。如果是，则可以-跳过检查所有500个正则表达式。

尝试找到可以消除所有类型攻击的简单regexp——在regexp中找到常见的东西。例如，如果有100个regexp正在检查是否存在某些HTML标记，请首先检查内容是否至少包含一个HTML标记。如果没有，则在检查100个regexp时立即保存。

缓存结果。webapps中生成的许多参数都会重复。不要反复检查相同的内容，只需记住最终的验证结果。注意限制缓存的最大大小以避免DOS攻击。

还要注意，否定验证通常很容易绕过。有人只需更改恶意代码中的几个字符，您的regexp就不匹配了。您必须增加regexp的“数据库”，以防止新的攻击。正面验证（白名单）没有这个缺点，更有效。

Answer 2

我建议您看看这篇文章：“为入侵检测实现更快的字符串匹配或超过Snort的速度”

有更好的方法来匹配您描述的匹配。从本质上讲，您需要匹配500个模式，并将其编译成一个后缀树，该后缀树可以非常有效地将输入与所有规则同时匹配。

本文解释了Dan Gusfield将这种方法描述为“精确集匹配的Boyer-Moore方法”。

Boyer-Moore是一种著名的字符串匹配算法。本文描述了一种用于集合匹配的Boyer-Moore变体。

Answer 3

如果可能的话，只编译一次regex并保持它们，而不是重复（隐式）编译（尤其是在循环中）
参见java。util。regex-模式的重要性。编译（）？了解更多信息。