Perl6解析文件

Question

作为实践，我正在尝试解析一些作为shell命令输出的标准文本。

  pool: thisPool
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
    still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
    the pool may no longer be accessible by software that does not support
    the features. See zpool-features(5) for details.
  scan: none requested
config:

    NAME                                                STATE     READ WRITE CKSUM
    homePool                                            ONLINE       0     0     0
      mirror-0                                          ONLINE       0     0     0
        ata-WDC_WD5000AZLX-00CL5A0_WD-WCC3F7NUE93C      ONLINE       0     0     0
        ata-WDC_WD5000AZLX-00CL5A0_WD-WCC3F7RE2A4F      ONLINE       0     0     0
    cache
      ata-KINGSTON_SV300S37A60G_50026B7261025D7E-part3  ONLINE       0     0     0

errors: No known data errors

我想使用Perl6语法，我想在单独的令牌或正则表达式中捕获每个字段。因此，我做了以下语法：

grammar zpool {
        regex TOP { \s+ [ <keyword> <collection> ]+ }
        token keyword { "pool: " | "state: " | "status: " | "action: " | "scan: " | "config: " | "errors: " }
        regex collection { [<:!keyword>]*  }
}

我的想法是，正则表达式找到一个关键字，然后开始收集所有数据，直到下一个关键字。然而，每次我都会得到“池”：-

 keyword => ｢pool: ｣
 collection => ｢homePool
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
    still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
    the pool may no longer be accessible by software that does not support
    the features. See zpool-features(5) for details.
  scan: none requested
config:

    NAME                                                STATE     READ WRITE CKSUM
    homePool                                            ONLINE       0     0     0
      mirror-0                                          ONLINE       0     0     0
        ata-WDC_WD5000AZLX-00CL5A0_WD-WCC3F7NUE93C      ONLINE       0     0     0
        ata-WDC_WD5000AZLX-00CL5A0_WD-WCC3F7RE2A4F      ONLINE       0     0     0
    cache
      ata-KINGSTON_SV300S37A60G_50026B7261025D7E-part3  ONLINE       0     0     0

errors: No known data errors
｣

我不知道当它找到一个关键字时，如何让它停止吃掉字符，然后将其视为另一个关键字。

Answer 1

匿名用户

尽管我不时地喜欢好的语法，但通过调用split可以更容易地解决这个问题:

my $input = q:to/EOF/;
  pool: thisPool
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
    still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
    the pool may no longer be accessible by software that does not support
    the features. See zpool-features(5) for details.
  scan: none requested
config:

    NAME                                                STATE     READ WRITE CKSUM
    homePool                                            ONLINE       0     0     0
      mirror-0                                          ONLINE       0     0     0
        ata-WDC_WD5000AZLX-00CL5A0_WD-WCC3F7NUE93C      ONLINE       0     0     0
        ata-WDC_WD5000AZLX-00CL5A0_WD-WCC3F7RE2A4F      ONLINE       0     0     0
    cache
      ata-KINGSTON_SV300S37A60G_50026B7261025D7E-part3  ONLINE       0     0     0

errors: No known data errors
EOF

my @delimiter = <pool state status action scan config errors>;
my %fields;
for $input.split( / ^^ \h* (@delimiter) ':' \h*/, :v)[1..*] -> $key, $value {
    %fields{ $key[0] } = $value.trim;
}

say %fields.perl;

这是通过对已知键进行拆分，丢弃第一个元素（因为我们知道输入以键而不是值开头），然后同步迭代键和值来工作的。

现在，由于您要求语法，我们可以通过将每个值替换为.？（任何字符串，但尽可能短）来轻松地将拆分调用转换为纯正则表达式。

现在让我们给它一些更多的结构：

my @delimiter = <pool state status action scan config errors>;
grammar ZPool {
    regex key      { @delimiter             }
    regex keychunk { ^^ \h* <key> ':'       }
    regex value    { .*?                    }
    regex chunks   { <keychunk> \h* <value> }
    regex TOP      { <chunks>+              }
}

我们可以从嵌套的匹配树中提取结果，或者使用有状态的操作对象进行欺骗：

class ZPool::Actions {
    has $!last-key;
    has %.contents;
    method key($m)   { $!last-key = $m.Str                }
    method value($m) { %!contents{ $!last-key } = $m.trim }
}

然后使用它:

my $actions = ZPool::Actions.new;
ZPool.parse($input, :$actions);
say $actions.contents.perl;

< code>key和< code>keychunk不需要回溯，所以可以将它们从< code>regex改为< code>token。

当然，使用. ? 和回溯可能被认为是作弊，因此您可以使用raiph提到的技巧，在value正则表达式中带有负面展望。

Answer 2

问题1

您已经编写了＜代码＞

和＜code＞

但是没有Unicode属性：关键字。

因此，否定断言将始终为真，并且每次都将匹配输入的单个字符。

所以，正如你所知道的，这个模式只是通过文本的其余部分来咀嚼。

问题2

修复问题 1 后，会出现第二个问题。

<代码>

相比之下，< code >

解决这两个问题后，您将获得预期的输出。（您将看到的下一个问题是 config 关键字不起作用，因为输入文件示例中的 ： in config： 后跟空格。

所以，通过一些清理：

my @keywords = <pool state status action scan config errors> ;

say grammar zpool {
    token TOP        { \s+ [ <keyword> <collection> ]* }
    token keyword    { @keywords ': ' }
    token collection { [ <!keyword> . ]* }
}

我已将所有模式转换为令牌声明。通常，除非您知道自己需要其他东西，否则请始终使用令牌。（正则表达式支持回溯。如果你不小心，这可能会大大减慢速度。规则使规则中的空格变得重要。

我已经将关键字提取到一个数组中。@关键字表示@关键字[0]|@关键字[1]|…。

我添加了一个＜code＞ 在之后

如果您没有看到它们，请注意可用的语法调试选项是您的朋友。

呵呵