Xtext:防止匹配其他规则中的关键字

Question

我正在寻找一种方法，防止在一个不需要关键词的地方匹配关键词。

看看下面的语法。“应用”和“输出”都是关键词。”OUTPUT'有一个包含任何字符的参数。

一切正常，但如果此参数包含单词APPLY，则会引发错误（外部输入APPLY预期规则_END）。

有办法解决这个问题吗？谢谢

示例文本

APPLY, 'an id' $
OUTPUT, A text $
OUTPUT, A text with the word APPLY $

数字用户线

grammar org.xtext.example.mydsl.MyDsl with org.eclipse.xtext.common.Terminals

generate myDsl "http://www.xtext.org/example/mydsl/MyDsl"

Model:
    statement+=Statement*;

Statement:
    ApplyStatement | OutputStatement;

OutputStatement:
    'OUTPUT' ',' out+=EXTENDLABEL* end=END;

ApplyStatement:
    'APPLY' ',' id=LABELIDENTIFIER end=END;

terminal fragment LETTER:
    'A' | 'B' | 'C' | 'D' | 'E' | 'F' | 'G' | 'H' | 'I' | 'J' | 'K' | 'L' | 'M' | 'N' | 'O' | 'P' | 'Q' | 'R' | 'S' | 'T'
    | 'U' | 'V' | 'W' | 'X' | 'Y' | 'Z' | 'a' | 'b' | 'c' | 'd' | 'e' | 'f' | 'g' | 'h' | 'i' | 'j' | 'k' | 'l' | 'm' |
    'n' | 'o' | 'p' | 'q' | 'r' | 's' | 't' | 'u' | 'v' | 'w' | 'x' | 'y' | 'z';

terminal LABELIDENTIFIER:
    "'"->"'";

terminal EXTENDLABEL:
    (LETTER) (LETTER)*;

terminal END:
    '$' !('\n' | '\r')*;

Answer 1

另一种解决方案是在解析器使用令牌之前更改令牌的ID。标记由lexer提供，解析器将把这些标记作为输入来生成AST。因此，我们的想法是在将令牌传递给解析器之前更改它们。

要做到这一点，您需要声明自己的解析器：

@Override
public Class<? extends IParser> bindIParser() {
    return ModelParser.class;
} 

注意：语法分析器将扩展生成的语法分析器。

然后，您需要重写以下方法来引入您自己的令牌源：

override protected XtextTokenStream createTokenStream(TokenSource tokenSource) {
    return new TokenSource(tokenSource, getTokenDefProvider());
} 

您自己的令牌源需要扩展“XtextTokenStream”。

之后，您需要重写方法'LT'如下：

override LT(int k) {
    var Token token = super.LT(k)
    if(token != null && token.text != null) token.tokenOverride(k);
    token
}

然后你只需要更改ID：

def void tokenOverride(Token token, int index){
    switch (token.text){
        case "APPLY" : {
            overrideType(t_parameter, InternalModelParser.RULE_ID);
        }
    }
 }

def void overrideType(Token token, int i) {
    token.type = i
}

注意：在更改令牌ID之前，不要忘记添加条件，在本例中，所有令牌“APPLY”都将成为一个ID。

当然，在交换机内部，您可以使用令牌“APPLY”的ID，而不是令牌的文本。

Answer 2

我认为有几种不同的方法可以解决你的问题。首先，可以转义出现的关键字，例如Xbase语言使用“^”字符作为转义字符；如果出于任何原因，在编写关键字时出现问题，可以在其前面加上“^”，这样就可以了。类似地，如果你把字符串放在特定的符号中，例如撇号，这会很有帮助。当然，这些解决方案需要改变你的语言本身，你可以这样做，也可以不这样做。

还可以用数据类型规则替换EXTENDLABEL终端。这使得在解决冲突方面具有更大的灵活性；最坏的情况下，你可以添加语言关键字作为选项。Eclipse论坛上一个与此相关的案例向我建议了这条路线。