ECMAScript中语法产生式规则与语法分析的关系

Question

正如维基百科关于解析的文章所指出的，这个过程有三个阶段：

null

除了上面阶段（3）中的小困惑之外，我想验证我对ECMAScript过程的理解是否正确。

那么，下面的流程是正确的吗？

• 输入：Unicode码点流<--词法中的终端符号
• 输出：有效标记<--词法语法中的非终结符号
• 语法应用
  1. 分析每个Unicode码点（字符），每次一个
  2. 通过应用适当的产生式规则，
  将最长的终端符号序列替换为非终端符号
  3. 然后，使用产生式规则替换最长的非终端符号序列
  4. 以同样的方式，产生式规则被一次又一次地应用，直到产生“目标符号”

• 输入：标记流<-句法语法中的终端符号
• 输出：解析树，以ScriptModule为根解析节点<--syntactic语法中的非终端符号
• 语法应用
  1. 从输入元素流开始。令牌
  2. 这些标记是句法语法中的终端符号
  3. 通过将最大码元流与合适产生式规则的RHS匹配来应用产生式规则，然后用该规则的LHS非终端码元替换码流
  4. 这将持续到只剩下“目标符号”

Answer 1

句法分析不遵守“最大蒙克”规则（选择最长的匹配前缀）。事实上，据我所知，ECMA-262没有指定解析算法，但提供了一个明确的上下文无关语法，可以通过自底向上（LR(k)）解析器进行解析，除了处理自动分号插入的一些问题和对跨换行（不是语法标记）的产生的一些限制之外。

然而，正如§5.1.4中提到的，语法实际上识别语言的超集；附加限制以补充文法的形式提供。

需要澄清的是：与多个上下文相关的词汇目标符号相关的复杂性使得首先将输入分为词汇，然后再将这些词汇组合成解析树变得困难。如果不进行部分分析，就不可能在每个点上知道正确的词法目标符号，因此可以方便地将句法分析和词法分析交织在一起。实用的句法分析算法从左到右操作，基本上按照输入顺序处理词义，因此可以按需进行词义分析，只有当语法分析器需要更多输入才能继续时才找到一个词义。

但除此之外，你概述的整体结构是正确的。在词法分析中，将终端（字符）中可能最长的前缀聚合为非终端，以创建一个词位（根据关于需要哪个词法目标的稍微复杂的规则）；在句法分析中，终端（词汇）被聚合为非终端，以产生对应于两个句法目标符号之一的单个分析树。

就像现实世界的语言一样，现实并不是那么干净。除了需要解析器指出需要哪个词法目标之外，还有换行规则和自动分号插入，这两者都跨越了词法解析和句法解析之间的界限。

“终端”和“非终端”这两个词的使用可能有点混乱，但我（和ECMA标准）在上下文无关的语法中使用它们的标准含义。

上下文无关文法由产生式组成，每个产生式的形式如下：

nâS…

其中n是非终端符号，s可能是终端符号或非终端符号的空序列。终端符号是待识别字符串表示中的原子。

标准的语法分析模型将语法分析分为两个层次：词汇分析和句法分析。原始输入是字符序列；词法分析将其转化为一系列词，这些词是句法分析的输入。

一个标准的上下文无关文法有一个单一的目标符号，它是文法定义的非终端之一。如果整个输入可以减少到这个非终端，则解析成功。

一个词法扫描可以被看作是一个与上下文无关的文法，它有一个有序的目标符号列表。它依次在输入的较长前缀上尝试每个目标符号，并接受与最长前缀匹配的第一个目标符号。（实际上，这一切都是并行进行的；我在这里是从概念上说的。）当ECMA-262谈到不同的词汇目标时，它实际上意味着可能的目标非终端的不同列表。

用语义属性增加符号也很有用；这些属性不影响解析，但一旦解析完成，它们就很有用了。特别地，解析树是通过在解析期间将树节点作为属性附加到从产品中创建的每个非终端来构建的，因此解析的最终结果不是非终端符号本身（这在解析开始前已知），而是附加到非终端的特定实例的语义属性，而在每个点上的词法扫描的结果是非终端符号及其关联的语义属性；典型的，语义属性将是相关的输入序列，或者这些字符的某些功能。

在任何情况下，两级解析都涉及到将输出的词法级非终端作为句法级的终端提供给词法级的非终端。