在Python中缓慢的ANTLR4生成解析器，但在Java中快速

Question

我正在尝试将ANTLR3语法转换为ANTLR4语法，以便在ANTLR4-python2-runtime中使用它。该语法是一个C/C模糊解析器。

转换后（基本上删除树运算符和语义/语法谓词），我使用以下方式生成Python2文件：

java-jar antlr4。5-完成。jar-Dlanguage=Python2语法。g4

并且代码生成时没有任何错误，所以我将其导入我的python项目（我使用PyCharm）进行一些测试：

import sys, time
from antlr4 import *
from parser.CPPGrammarLexer import CPPGrammarLexer
from parser.CPPGrammarParser import CPPGrammarParser

currenttimemillis = lambda: int(round(time.time() * 1000))

def is_string(object):
    return isinstance(object,str)

def parsecommandstringline(argv):
    if(2!=len(argv)):
        raise IndexError("Invalid args size.")
    if(is_string(argv[1])):
        return True
    else:
        raise TypeError("Argument must be str type.")

def doparsing(argv):
    if parsecommandstringline(argv):
        print("Arguments: OK - {0}".format(argv[1]))
        input = FileStream(argv[1])
        lexer = CPPGrammarLexer(input)
        stream = CommonTokenStream(lexer)
        parser = CPPGrammarParser(stream)
        print("*** Parser: START ***")
        start = currenttimemillis()
        tree = parser.code()
        print("*** Parser: END *** - {0} ms.".format(currenttimemillis()-start))
        pass

def main(argv):
    tree = doparsing(argv)
    pass

if __name__ == '__main__':
    main(sys.argv)

我的假设是正确的还是在转换语法时犯了一些错误？我们可以做些什么来让解析和AntlWorks一样快？

更新：我将相同的语法导出到Java，只花了795ms就完成了解析。这个问题似乎更多地与python实现有关，而不是与语法本身有关。有什么可以加速Python解析的吗？
我在这里读到python可以比java慢20-30倍，但在我的情况下python要慢400倍！

Answer 1

在这里发布，因为它可能对找到此线程的人有用。

自从发布这篇文章以来，Antlr的Python目标已经有了一些性能改进。也就是说，Python解释器本质上比Java或其他编译语言慢。

我为Antlr的Python3目标组装了一个Python加速器代码生成器。它使用Antlr C目标作为Python扩展。莱克辛

以下是代码生成器工具：https://github.com/amykyta3/speedy-antlr-tool

下面是一个功能齐全的示例：https://github.com/amykyta3/speedy-antlr-example

希望这对那些喜欢在Python中使用Antlr的人有用！

Answer 2

我面临着一个类似的问题，所以我决定用一个可能的解决方案来撞这篇旧文章。我的语法在TestRig上立即运行，但在Python 3上运行速度非常慢。

在我的例子中，错误是我用来生成单行注释的非贪婪标记（在C/C中为双斜杠，在我的例子中为“%”）：

TKCOMM : '%' ~[\r\n]* -> skip ;

这在一定程度上得到了sharwell在这里讨论的帖子的支持：https://github.com/antlr/antlr4/issues/658

当性能是一个问题时，避免使用非贪婪运算符，尤其是在解析器规则中。

要测试此场景，您可能需要从语法中删除非贪婪规则/标记。

Answer 3

我确认Python2和Python3运行时存在性能问题。通过几个补丁，我在python3运行时的速度提高了10倍（从大约5秒降到大约400毫秒）。https://github.com/antlr/antlr4/pull/1010