ANTLR4解析子库

Question

我有一个语法，当解析在一次传递（整个文件）很好。

现在我希望将解析分解成组件。并在子库上运行解析器。我遇到了一个问题，我假设其他解析子库的人会看到下面的规则：

thing   :   LABEL? THING  THINGDATA thingClause?
            //{System.out.println("G4 Lexer/parser thing encountered");}
        ;
...
thingClause : ',' ID ( ',' ID)?
            ;

当上面的规则从一个顶级的开始规则解析到EOF时，一切都很好。当解析为子规则（而不是解析为EOF）时，解析器在没有thing子句时会感到不安，因为它希望看到“，”字符或EOF字符。

第8行：0不匹配的输入“%”应为{,“,”}

当我解析到EOF时，%被正确地解析到另一个“thing”组件中，因为顶层规则查找：

  toprule :  thing+
          |  endOfThingsTokens
          ;

内源性火灾发生在EOF之前...所以我想这就是顶级规则起作用的原因。

为了解析子库，我希望ANTLR4解析器接受或忽略%令牌，并说“OK，我们没有看到一个ThingClause”，然后重置令牌流，这样下一个thing对象就可以由解析器的另一个实例解析。

在本例中，我可以更改lexer，将换行符传递给解析器，我目前在lexer语法中跳过了这一点。这将需要许多其他更改来接受令牌流中的换行符，而这些更改目前是不需要的。

本质上，我需要一些方法来使规则具有一个“记录结束”标记。但我想知道是否有某种方法可以用语义谓词规则来解决这个问题。

类似于：

    thing   :   { if comma before %}? LABEL? THING  THINGDATA thingClause?
            | LABEL? THING THINGDATA
            ;
    ...

    thingClause : ',' ID ( ',' ID)?
            ;

Answer 1

解析器将（有效地）在令牌流中向前看，以确定是否可以满足当前规则。然后消耗相应的令牌。如果任何前瞻令牌仍未被使用，解析器将查找另一个规则来使用这些前瞻令牌和其他前瞻令牌。

ThingClause？元素不匹配时，将导致解析器中未使用的标记。因此，您看到的错误。

解析器前瞻依赖于数据。这意味着对规则元素的求值可以很容易地向解析器中读取比当前规则可能消耗的更多的令牌。

虽然谓词可能有所帮助，但它不会使问题具有确定性。也就是说，即使解析器匹配非谓词alt，它也很可能读取到解析器中的令牌比该alt所能消耗的更多。

避免这种不确定性的唯一方法是将 标记预注入到子规则边界的标记流中。