Antlr4中的字符串插值

Question

我有一种使用模式进行字符串插值的语法：大致如下：

lexer grammar Example;

//default mode tokens
LBRACE: '{' -> pushMode(DEFAULT_MODE);
RBRACE: '}' -> popMode;

OPEN_STRING: '"' -> pushMode(STRING);
mode STRING;
ID_INTERPOLATION: '$' IDEN;
OPEN_EXPR_INTERPOLATION: '${' -> pushMode(DEFAULT_MODE);
TEXT: '$' | (~[$\r\n])+;
CLOSE_STRING: '"' -> popMode;

parser grammar ExampleParser;
options {tokenVocab = Example;}

test: string* EOF;
string: OPEN_STRING string_part* CLOSE_STRING;
string_part: TEXT | ID_INTERPOLATION | OPEN_EXPR_INTERPOLATION expr RBRACE;


//more rules that use LBRACE and RBRACE

现在这工作和标记一切主要是我想要的，但它确实有2个缺陷。

1. 如果RBRACES的数量过多，它会弹出第一个默认模式，这会使IDE出现故障，而不仅仅是显示错误。
2. 关闭块和关闭插值的标记是相同的，因此我无法根据需要突出显示它们。（这是主要的）

我的IDE仅基于令牌突出显示，所以这是一个问题，我希望能够以不同的方式突出显示它们。所以基本上我想要一个解决方案，当RBRACE在字符串中时，它将成为不同的令牌。

我更喜欢不使用语义谓词，因为我不想把它束缚在一种语言上，但如果需要的话，我可以接受，我可能需要更多的解释，因为我没有太多使用它们。

Answer 1

因此，我着手实现一个内插字符串解析器，只使用ANTLR代码（不使用宿主语言代码块）。我发现这很有效，包括嵌套插值字符串。。。

lexer grammar Lexer;

LeftBrace: '{';
RightBrace: '}' -> popMode;

Backtick: '`' -> pushMode(InterpolatedString);
Integer: [0-9]+;
Plus: '+';

mode InterpolatedString;

EscapedLeftBrace: '\\{' -> type(Grapheme);
EscapedBacktick: '\\`' -> type(Grapheme);
ExprStart: '{' -> type(LeftBrace), pushMode(DEFAULT_MODE);
End: '`' -> type(Backtick), popMode;
Grapheme: ~('{' | '`');

parser grammar Parser;

options {
    tokenVocab = Lexer;
}

startRule: expression EOF;

interpolatedString: Backtick (Grapheme | interpolatedStringExpression)* Backtick;

interpolatedStringExpression: LeftBrace expression RightBrace;

expression
    : expression Plus expression
    | atom
    ;
    
atom: Integer | interpolatedString;

您可以使用输入进行测试

`{`{`{`{`{`{`{`hello world`}`}`}`}`}`}`}`

Answer 2

感谢@sepp2k帮助我解决问题。

这有点像黑客，但它正是我所需要的

我通过将RBRACE上的popMode更改为以下方式解决了此问题：

RBRACE: '}' {
    if(_modeStack.size() > 0) {
        popMode();
        if(_mode != DEFAULT_MODE) {
            setType(EXPR_INTERPOLATION);
        }
    }
};

我还将解析器更改为

string_part: TEXT | ID_INTERPOLATION | EXPR_INTERPOLATION expr EXPR_INTERPOLATION;

我知道在特定情况下更改令牌类型是非常粗鲁的，但它为我完成了工作，所以我会保留它，除非我找到一种不那么粗鲁的方法来做到这一点。