Raku语法与自定义lexer

Question

是否有可能为raku语法定义一个自定义lexer，即将字符串转换为int-id值流的lexer？我在玩弄语法结构。

规则看起来很直观，因为它们可能在递归下降解析器中转换为函数。然而，令牌和正则表达式我希望能够通过显式令牌ID和一个接口将它们映射到一个名称，这样我就可以编写自己的lexer了？

Answer 1

Raku语法是一种无扫描解析的形式，其中词汇结构和解析结构一起指定。

虽然规则确实形成了递归下降解析器，但这只是故事的一半。当使用protoregex或alternation（种类而不是|种类）时，将收集它们的声明性前缀并形成NFA。然后使用它来确定应该探索哪些交替分支（如果有的话）；如果有多个，则根据最长优先顺序对它们进行排序，最长文字和继承深度用作平分符。

形成声明性前缀需要向下查看子规则调用以查找词汇元素，然后有效地查找标记。因此，我们可以说Raku语法为我们派生了标记器（实际上是许多标记器）。这些标记通常在编译时生成，但是，对于自定义操作符之类的东西，它们是通过混合到语法中来完成的，为了解释新标记，还必须在运行时生成进一步的NFA。

目前还没有办法连接到语法编译中并以不同的方式进行操作（至少在不使用编译器内部构件的情况下是这样）。然而，在下一个主要的语言版本中，可能会有Raku程序的AST可供语言用户使用，因此可以编写影响不同程序结构编译的模块。