可以为lexer定义自定义参数？

Question

例如，我在语法中定义了几个lexer规则：

INT: 'int';
FLOAT: 'float';
...

DIGIT : [0-9];
NUMERIC : (DIGIT+ | DIGIT+ '.' DIGIT+ | '.' DIGIT+ | DIGIT+ '.');
...

我需要以某种方式标记关键字（“int”、“float”和其他），当我使用TokenStream获取令牌时，我可以通过一些自定义符号对其进行过滤。

有可能吗？

现在我只看到一种方法——将必要的词汇组合成某种规则。

使现代化

我尝试应用下面第一个答案的第一个选项，但遇到了下一个问题：我得到一个错误：“TOKENNAME不是可识别的令牌名称”

因为这是一个问题。我从这里应用建议：

使用

options { tokenVocab = MyLexer; }

而不是

import MyLexer;

并获取错误：“error（114）：MyParser。g4:3:23：找不到令牌文件。\MyLexer公司。代币'

这里说，我是如何理解的，当ANTLR源文件（MyParser. g4、MyLemus. g4）放置在放置生成包的同一目录中时可能会发生这种情况。但是我将输出文件的属性设置为另一个目录。也许我得到了一些误解...

这里有一个小例子。

Answer 1

根据您使用词法器的其他内容，您可以探索2种途径。

>

以那里的文档为例：

lexer grammar SetType;
tokens { STRING }
DOUBLE : '"' .*? '"'   -> type(STRING) ;
SINGLE : '\'' .*? '\'' -> type(STRING) ;
WS     : [ \r\t\n]+    -> skip ;

这将允许单个类型STRING的多个规则，这是您将在流中收到的令牌类型。

拥有令牌流后，可以使用该命令标记和过滤令牌。如果以后仍需要解析，这有保留原始lexer流的好处。

同样，从antlr文档中窃取示例：

BLOCK_COMMENT
    : '/*' .*? '*/' -> channel(HIDDEN)
    ;
LINE_COMMENT
    : '//' ~[\r\n]* -> channel(HIDDEN)
    ;