python中的双解码unicode

Question

我正在针对似乎渴望返回双重UTF-8编码字符串的应用程序进行工作。

我发送u'XüYß'使用UTF-8编码的字符串，因此变成X\u00fcY\u00df（等于X\xc3\xbcY\xc3\x9f）。

服务器 应
仅回显我发送的内容，但返回以下内容：（X\xc3\x83\xc2\xbcY\xc3\x83\xc2\x9f应为X\xc3\xbcY\xc3\x9f）。如果我将其解码采用str.decode('utf-8')变u'X\xc3\xbcY\xc3\x9f'，使用UTF-8，它看起来像一个......的unicode字符串，包含原始字符串编码。

但是Python不允许我在不重新编码的情况下解码unicode字符串-由于某种原因而失败，这使我逃脱了：

>>> ret = 'X\xc3\x83\xc2\xbcY\xc3\x83\xc2\x9f'.decode('utf-8')
>>> ret
u'X\xc3\xbcY\xc3\x9f'
>>> ret.decode('utf-8')
# Throws UnicodeEncodeError: 'ascii' codec can't encode ...

如何说服Python重新解码字符串？-和/或是否有（实际）调试字符串中实际内容的方法，而没有通过所有隐式转换print使用该方法？

（是的，我已经向服务器端的开发人员报告了此行为。）

Answer 1

ret.decode()尝试ret使用系统编码隐式编码-在您的情况下为ascii。

如果您明确编码unicode字符串，则应该没问题。有内置的编码可以满足您的需求：

>>> 'X\xc3\xbcY\xc3\x9f'.encode('raw_unicode_escape').decode('utf-8')
'XüYß'

确实，.encode('latin1')（或cp1252）可以，因为这几乎是服务器很少使用的内容。该raw_unicode_escape编解码器将只是给你的东西识别在最后，而不是抛出一个异常：

>>> '€\xe2\x82\xac'.encode('raw_unicode_escape').decode('utf8')
'\\u20ac€'

>>> '€\xe2\x82\xac'.encode('latin1').decode('utf8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'latin-1' codec can't encode character '\u20ac' in position 0: ordinal not in range(256)

如果遇到这种混合数据，则可以再次使用编解码器来规范化所有内容：

>>> '€\xe2\x82\xac'.encode('raw_unicode_escape').decode('utf8')
'\\u20ac€'

>>> '\\u20ac€'.encode('raw_unicode_escape')
b'\\u20ac\\u20ac'
>>> '\\u20ac€'.encode('raw_unicode_escape').decode('raw_unicode_escape')
'€€'