ANTLR4-不能正确使用岛语法？

Question

我正在使用Antrl4解析一种类似java的语言，在这种语言中，可以使用专有的查询语言在括号中编写表达式。假设在Java方法中，应该允许以下行：

List<MyObject> items = [SELECT Field1,Field2 FROM MyObject];

if ([SELECT Field1,Field2 FROM MyObject]!=null) {  }

OPEN_QUERY : '['    -> pushMode(INSIDE_QUERY);

JavaIdentifier: JavaLetter JavaLetterOrDigit* ;
// omitting fragments and loads of other lexer tokens for brevity

mode INSIDE_QUERY;

CLOSE_QUERY : ']' -> popMode ;
SELECT : 'select';
FROM : 'from';
QueryIdentifier: QueryLetter QueryLetterOrDigit*;
// omitting fragments definition for brevity

expression: normalExpression | queryExpression;

queryExpression
: '[' SELECT QueryIdentifier FROM  QueryIdentifier']'
;    

但这会导致第一个括号字符上的令牌识别错误。

这种做法有什么问题吗？有人能指出我正在犯的错误吗？

Answer 1

如果您转储令牌流以查看lexer实际上在做什么，则更容易诊断此类问题。这里，在lexer中，打开的方括号被识别为open_query，关闭的方括号被识别为close_query。因此，作为隐式令牌的字面括号，即在解析器中指定为“[”和“]”，并不存在于令牌流中。

通过更改为

queryExpression
    : OPEN_QUERY SELECT QueryIdentifier FROM QueryIdentifier CLOSE_QUERY
    ;