ANTLR4将任何不匹配的节匹配到一个字符串标记中

Question

我试图用ANTLR创建一个lexer/parser，它可以解析中间分散有标记的纯文本。这些标记由打开（{）和关闭（}）括号表示，它们表示可以计算为字符串的Java对象，然后在原始输入中替换该字符串，以创建排序的动态模板。

这里有一个例子：{player：name}向你问好！{player：name}应该被玩家的名字替换，并导致输出，即Mark say hi！为了那个叫马克的玩家。

现在我可以很好地识别和解析标记，但我遇到的问题是后面的文本。这是我使用的语法：

    grammar : content+

    content : tag 
            | literal
            ;

    tag : player_tag
        | <...>
        | <other kinds of tags, not important for this example>
        | <...>
        ;

    player_tag : BRACKET_OPEN player_identifier SEMICOLON player_string_parameter BRACKET_CLOSE ;
    player_string_parameter : NAME
                            | <...>
                            ;
    player_identifier : PLAYER ;

    literal : NUMBER
            | STRING
            ;

    BRACKET_OPEN : '{';
    BRACKET_CLOSE : '}';

    PLAYER : 'player'
    NAME : 'name'

    NUMBER : <...>
    STRING : (.+)? /* <- THIS IS THE PROBLEMATIC PART !*/

  STRING : '\'' ~[}{]+ '\'' ;

  STRING : (?<=})(.+)?(?={) ;

对该做什么有什么建议吗？

Answer 1

Antlr不支持lookahead或LookBehind。它确实支持非贪婪通配符匹配，但仅当.*非贪婪通配符在规则中跟随终止序列时（正如您所说，终止序列也包含在匹配中，尽管您可以将其推回到输入流中）。

所以~[{}]*是正确的。但是有一个小问题：lexer规则（通常）总是活动的。因此，lexer规则在大括号内也是活动的，这意味着它将吞下大括号之间的全部内容（除非有嵌套大括号或引号内的大括号，否则情况更糟）。

因此，您需要定义不同的词汇内容，在ANTLR中称为“词汇模式”。在Antlr权威参考中有一个公开可见的示例，它展示了一个非常类似的问题的解决方案：解析HTML。