在antlr4 lexer中，如何有一个规则来捕获所有剩余的“单词”作为未知的令牌？

Question

Whitespace : [ \t\n\r]+ -> skip;
Punctuation : [.,:;?!];
// Other rules here
Unknown : .+? ; 

现在生成的匹配器捕获“~”为未知，但为输入“~”创建3个“~”未知令牌，而不是单个“~”令牌。我应该做什么来告诉lexer为未知的连续字符生成单词令牌。我还试过“未知：.；”和“未知:.+；”没有结果。

编辑：在当前的antlr版本中。+？现在捕获剩余的单词，所以这个问题似乎已经解决了。

Answer 1

lexer规则末尾的.+？将始终与单个字符匹配。但是.+将尽可能多地消耗，这在ANTLR v3（可能也是v4)中的规则末尾是非法的。

您所能做的只是匹配一个字符，并在解析器中将这些字符“粘合”在一起：

unknowns : Unknown+ ; 

...

Unknown  : . ; 

...但我只有一个lexer，没有解析器...

lexer grammar Lex;

@members {

  public static void main(String[] args) {
    Lex lex = new Lex(new ANTLRInputStream("foo, bar...\n"));
    for(Token t : lex.getAllTokens()) {
      System.out.printf("%-15s '%s'\n", tokenNames[t.getType()], t.getText());
    }
  }

  private java.util.Queue<Token> queue = new java.util.LinkedList<Token>();

  @Override
  public Token nextToken() {    

    if(!queue.isEmpty()) {
      return queue.poll();
    }

    Token next = super.nextToken();

    if(next.getType() != Unknown) {
      return next;
    }

    StringBuilder builder = new StringBuilder();

    while(next.getType() == Unknown) {
      builder.append(next.getText());
      next = super.nextToken();
    }

    // The `next` will _not_ be an Unknown-token, store it in 
    // the queue to return the next time!
    queue.offer(next);

    return new CommonToken(Unknown, builder.toString());
  }
}

Whitespace  : [ \t\n\r]+ -> skip ;
Punctuation : [.,:;?!] ;
Unknown     : . ; 

java -cp antlr-4.0-complete.jar org.antlr.v4.Tool Lex.g4 
javac -cp antlr-4.0-complete.jar *.java
java -cp .:antlr-4.0-complete.jar Lex

Unknown         'foo'
Punctuation     ','
Unknown         'bar'
Punctuation     '.'
Punctuation     '.'
Punctuation     '.'