为什么Python为[0xfor x in（1,2,3)]返回[15]？

Question

运行以下行时：

>>> [0xfor x in (1, 2, 3)]

我以为Python会返回一个错误。

相反，REPL返回：

[15]

原因可能是什么？

Answer 1

Python将表达式读取为[0xF或((1,2,3))]，因为：

1. Python标记器。
2. 运算符优先级。

由于短路求值，它从不引发nameerror-如果留给或运算符的表达式是一个真实的值，Python永远不会尝试求值它的右侧。

首先，我们要了解Python是如何读取十六进制数字的。

在Tokenizer.c的巨大tok_get函数上，我们：

1. 查找第一个0x。
2. 继续读取下一个字符，只要它们在0-f范围内。

解析后的令牌0xf（因为“o”不在0-f的范围内）最终将传递给PEG解析器，解析器将其转换为十进制值15（参见附录A）。

我们仍然必须解析（1,2,3)]中的其余代码或x，这与下面的代码一样：

[15 or x in (1, 2, 3)]

由于中的具有比或更高的运算符优先级，因此我们可能希望（1,2,3)中的x首先计算。

这是一个麻烦的情况，因为x不存在，并且将引发NameError。

幸运的是，Python支持短路求值，因为或是懒惰运算符：如果左操作数等同于true，Python就不会费心求值右操作数。

我们可以使用AST模块看到它：

parsed = ast.parse('0xfor x in (1, 2, 3)', mode='eval')
ast.dump(parsed)

输出：

    Expression(
        body=BoolOp(
            op=Or(),
            values=[
                Constant(value=15),   # <-- Truthy value, so the next operand won't be evaluated.
                Compare(
                    left=Name(id='x', ctx=Load()),
                    ops=[In()],
                    comparators=[
                        Tuple(elts=[Constant(value=1), Constant(value=2), Constant(value=3)], ctx=Load())
                    ]
                )
            ]
        )
    )

所以最后的表达式等于[15]。

在pegen.c的parsenumber_raw函数上，我们可以找到Python是如何对待前导零的：

    if (s[0] == '0') {
        x = (long)PyOS_strtoul(s, (char **)&end, 0);
        if (x < 0 && errno == 0) {
            return PyLong_FromString(s, (char **)0, 0);
        }
    }

pyos_strtoul在python/mystrtoul.c中。

在mystrtoul.c中，解析器查看0x后面的一个字符。如果是十六进制字符,Python将数字的基数设置为16：

            if (*str == 'x' || *str == 'X') {
                /* there must be at least one digit after 0x */
                if (_PyLong_DigitValue[Py_CHARMASK(str[1])] >= 16) {
                    if (ptr)
                        *ptr = (char *)str;
                    return 0;
                }
                ++str;
                base = 16;
            } ...

然后,只要字符在0-f的范围内,它就解析该数字的其余部分：

    while ((c = _PyLong_DigitValue[Py_CHARMASK(*str)]) < base) {
        if (ovlimit > 0) /* no overflow check required */
            result = result * base + c;
        ...
        ++str;
        --ovlimit;
    }

最后，它将指针设置为指向扫描的最后一个字符--它比最后一个十六进制字符多一个字符：

    if (ptr)
        *ptr = (char *)str;

• 来自reddit的CSI_TECH_DEPT，用于向我引用tokenizer.c文件中的正确部分。
• 原推文。