如何使用Jison lexer返回多个令牌

Question

我不熟悉词法分析，如果标题不够清晰，我很抱歉。

基本上，我使用Jison来解析一些文本，并试图让lexer理解缩进。这里有一点值得商榷：

(\r\n|\r|\n)+\s*      %{
                        parser.indentCount = parser.indentCount || [0];

                        var indentation = yytext.replace(/^(\r\n|\r|\n)+/, '').length;

                        if (indentation > parser.indentCount[0]) {
                           parser.indentCount.unshift(indentation);
                           return 'INDENT';
                        }

                        var tokens = [];

                        while (indentation < parser.indentCount[0]) {
                          tokens.push('DEDENT');
                          parser.indentCount.shift();
                        }

                        if (tokens.length) {
                           return tokens;
                        }

                        if (!indentation.length) {
                          return 'NEWLINE';
                        }
                      %}

到目前为止，几乎所有这些都像预期的那样工作。一个问题是我试图返回一个DEDENT令牌数组的行。看来Jison只是将该数组转换成一个字符串，这导致我得到一个解析错误，如期待......，得到了DEDENT，DEDENT。

我希望我能做的是手动将一些DEDENT令牌推到堆栈上。也许有一个像这样的函数。pushToken（'DEDENT'）或类似的东西。但是Jison的文档不是很好，我需要一些帮助。

有什么想法吗？

编辑：

在查看了生成的解析器代码后，我似乎已经能够破解这个问题。以下是似乎有效的方法...

if (tokens.length) {
  var args = arguments;

  tokens.slice(1).forEach(function () {
    lexer.performAction.apply(this, args);
  }.bind(this));

  return 'DEDENT';
}

这会诱使lexer对堆栈中的每个DEDENT使用完全相同的输入执行另一个操作，从而允许它添加正确的DEDENT。然而，感觉很恶心，我担心可能会有不可预见的问题。

如果有人对更好的方法有任何想法，我仍然会喜欢它。

Answer 1

几天后，我终于想出了一个更好的答案。下面是它的样子：

(\r\n|\r|\n)+[ \t]*   %{
                        parser.indentCount = parser.indentCount || [0];
                        parser.forceDedent = parser.forceDedent || 0;

                        if (parser.forceDedent) {
                          parser.forceDedent -= 1;
                          this.unput(yytext);
                          return 'DEDENT';
                        }

                        var indentation = yytext.replace(/^(\r\n|\r|\n)+/, '').length;

                        if (indentation > parser.indentCount[0]) {
                           parser.indentCount.unshift(indentation);
                           return 'INDENT';
                        }

                        var dedents = [];

                        while (indentation < parser.indentCount[0]) {
                          dedents.push('DEDENT');
                          parser.indentCount.shift();
                        }

                        if (dedents.length) {
                           parser.forceDedent = dedents.length - 1;
                           this.unput(yytext);
                           return 'DEDENT';
                        }

                        return `NEWLINE`;
                      %}

首先，我修改了捕获正则表达式，以确保在一系列非换行符空格之后不会无意中捕获额外的换行符。

接下来，我们要确保有两个“全局”变量<代码>缩进计数将跟踪我们当前的缩进长度forcedDent将强制我们返回DEDENT，如果它的值大于0。

接下来，我们有一个条件来测试forceDedent上的真实值。如果我们有一个，我们将把它递减1，并使用unput函数来确保我们至少在同一个模式上迭代一次，但是对于这个迭代，我们将返回一个DEDENT。

如果我们没有返回，我们将得到当前缩进的长度。

如果当前缩进大于最近的缩进，我们将在indentCount变量上跟踪它，并返回INDENT。

如果我们还没有回来，是时候准备可能的情况了。我们会组成一个阵列来跟踪他们。

当我们检测到dedent时，用户可能试图同时关闭一个或多个块。因此，我们需要在用户关闭时包含一个DEDENT。我们设置了一个循环，只要当前缩进小于我们最近的缩进，我们就会在列表中添加一个DEDENT，并从indentCount中删除一个项目。

如果我们追踪到任何Dedent，我们需要确保lexer返回所有Dedent。因为lexer一次只能返回1个令牌，所以我们将在这里返回1，但我们还将设置forceDedent变量，以确保我们也返回其余的令牌。为了确保我们再次迭代这个模式，并且可以插入这些dedent，我们将使用unput函数。

在任何其他情况下，我们只返回一个换行符。