antlr语法：仅允许在模板字符串中进行空格匹配

Question

我要分析模板字符串：

`Some text ${variable.name} and so on ... ${otherVariable.function(parameter)} ...`

这是我的语法：

varname: VAR ;
variable: varname funParameter? ('.' variable)* ;
templateString: '`' (TemplateStringLiteral* '${' variable '}' TemplateStringLiteral*)+ '`' ;
funParameter: '(' variable? (',' variable)*  ')' ;

WS      : [ \t\r\n\u000C]+ -> skip ;
TemplateStringLiteral: ('\\`' | ~'`') ;
VAR : [$]?[a-zA-Z0-9_]+|[$] ;

当语法的输入被解析时，模板字符串不再有空格，因为WS-

无关输入''期望{"'}

如何允许解析空格而不是仅在模板字符串中跳过？

Answer 1

当针对显示生成标记的当前语法测试您的示例时，词法分析器会给出以下信息：

[@0,0:0='`',<'`'>,1:0]
[@1,1:4='Some',<VAR>,1:1]
[@2,6:9='text',<VAR>,1:6]
[@3,11:12='${',<'${'>,1:11]
[@4,13:20='variable',<VAR>,1:13]
[@5,21:21='.',<'.'>,1:21]
[@6,22:25='name',<VAR>,1:22]
[@7,26:26='}',<'}'>,1:26]
... shortened ...
[@26,85:84='<EOF>',<EOF>,2:0]

这告诉您，您打算成为模板字符串文字*的一些实际上被lexed为VAR。为什么会这样？

如本答案所述，antlr使用尽可能长的匹配来创建令牌。由于您的TemplateStringLitald规则只匹配单个字符，但您的VAR规则匹配无限多，lexer显然使用后者来匹配一些。

您可以尝试如下方式修改规则：

TemplateStringLiteral: ('\\`' | ~'`')+ ;

因此，它可以捕获多个字符，因此是首选。这有两个不起作用的原因：

>

lexer如何将任何内容与VAR规则匹配？

TemplateStringLiteral规则现在也与${匹配，因此禁止正确识别模板块的开头。

可能还有另一种解决方案，但这种方法有效：

归档MartinCup。g4：

parser grammar MartinCup;

options { tokenVocab=MartinCupLexer; }

templateString
    : BackTick TemplateStringLiteral* (template TemplateStringLiteral*)+ BackTick
    ;

template
    : TemplateStart variable TemplateEnd
    ;

variable
    : varname funParameter? (Dot variable)*
    ;

varname
    : VAR
    ;

funParameter
    : OpenPar variable? (Comma variable)* ClosedPar
    ;

文件MartinCupLemus. g4：

lexer grammar MartinCupLexer;

BackTick : '`' ;

TemplateStart
    : '${' -> pushMode(templateMode)
    ;

TemplateStringLiteral
    : '\\`'
    | ~'`'
    ;

mode templateMode;

VAR
    : [$]?[a-zA-Z0-9_]+
    | [$]
    ;

OpenPar : '(' ;
ClosedPar : ')' ;
Comma : ',' ;
Dot : '.' ;

TemplateEnd
    : '}' -> popMode;

此语法使用lexer模式来区分花括号的内部和外部。VAR规则现在仅在遇到${之后处于活动状态，并且仅在读取}之前保持活动状态。因此，它不会捕获非模板文本，例如一些。

请注意，lexer模式的使用需要html" target="_blank">拆分语法（解析器和lexer语法的单独文件）。因为解析器语法中不允许使用lexer规则，所以我不得不为括号、逗号、点和反勾号引入标记。

我假设您希望在“普通文本”中保留空格，但不允许模板中出现空格。因此，我简单地删除了WS规则。如果您愿意，您可以随时重新添加它。

我测试了您的替代语法，您将TemplateStringLiteral置于WS之上，但与您的观察相反，这给了我：

第1:1行无关输入“一些”，期待 {'${', TemplateStringLitald}

原因与上述相同，Some被lexed为VAR。