Python 3：如何指定stdin编码

Question

在将代码从Python 2移植到Python 3时，从标准输入读取UTF-8文本时遇到了这个问题。在Python 2中，这可以正常工作：

for line in sys.stdin:
    ...

但是Python 3需要 sys.stdin中的 ASCII ，如果输入中包含非ASCII字符，则会出现错误：

UnicodeDecodeError：’ascii’编解码器无法解码位置..中的字节..：序数不在范围内（128）

对于常规文件，我将在打开文件时指定编码：

with open('filename', 'r', encoding='utf-8') as file:
    for line in file:
        ...

但是，如何为标准输入指定编码？其他SO帖子建议使用

input_stream = codecs.getreader('utf-8')(sys.stdin)
for line in input_stream:
    ...

但是，这在Python 3中不起作用。我仍然收到相同的错误消息。我正在使用Ubuntu 12.04.2，并且我的语言环境设置为en_US.UTF-8。

Answer 1

Python 3里 不能 指望从ASCII
sys.stdin。它将stdin以文本模式打开，并对使用的编码进行有根据的猜测。该猜测可能归结为ASCII，但这不是给定的。请参阅有关如何选择编解码器的sys.stdin文档。

像在文本模式下打开的其他文件对象一样，该sys.stdin对象派生自io.TextIOBase基类；它具有.buffer指向基础缓冲的IO实例的.raw属性（该实例又具有一个属性）。

将sys.stdin.buffer属性包装在新io.TextIOWrapper()实例中以指定其他编码：

import io
import sys

input_stream = io.TextIOWrapper(sys.stdin.buffer, encoding='utf-8')

或者，在运行python时将PYTHONIOENCODING环境变量设置为所需的编解码器。

从Python
3.7起，您还可以重新配置现有的std*包装器，前提是您在一开始就进行了配置（在读取任何数据之前）：

# Python 3.7 and newer
sys.stdin.reconfigure(encoding='utf-8')