在python中将字符串转换为Unicode类型

Question

我正在尝试以下代码：

s = "سلام"
'{:b}'.format(int(s.encode('utf-8').encode('hex'), 16))

但是出现这个错误：

'{:b}'.format(int(s.encode('utf-8').encode('hex'), 16))

UnicodeDecodeError：'ascii'编解码器不能解码字节0xd3在位置0：序数不在范围（128）

我试过“{:b}”。格式（int（s.encode（'utf-8'））。编码（'hex'），16））但没有更改。

我该怎么办？

Answer 1

由于您使用的是python 2，s=“سلام”是一个字节字符串（无论您的终端使用何种编码，大概是utf8）：

>>> s = "سلام"
>>> s
'\xd8\xb3\xd9\x84\xd8\xa7\xd9\x85'

不能对字节字符串进行编码（因为它们已经“编码”）。您正在寻找unicode（“real”）字符串，python2中的字符串必须以u作为前缀：

>>> s = u"سلام"
>>> s
u'\u0633\u0644\u0627\u0645'
>>> '{:b}'.format(int(s.encode('utf-8').encode('hex'), 16))
'1101100010110011110110011000010011011000101001111101100110000101'

如果你从一个函数中得到一个字节串，比如raw_input，那么你的字符串已经被编码了——只需跳过encode部分：

'{:b}'.format(int(s.encode('hex'), 16))

或者（如果你要用它做其他事情）将它转换为Unicode：

s = s.decode('utf8')

这假设您的输入是UTF-8编码的，如果不是这样，请检查sys。斯丁。首先编码。

i10n的东西是复杂的，这里有两篇文章，将帮助你进一步：

>

绝对最低要求每个软件开发人员绝对，积极地必须了解Unicode和字符集

每一个程序员绝对地、肯定地需要了解编码和字符集来处理文本