在python中将Unicode转换为[duplicate]

Question

可能重复：
将Unicode转换为UTF-8 Python

我是一个非常新的python程序员，正在编写我的第一个脚本。该脚本从plist字符串中提取文本，然后对其执行一些操作，然后将其打包为HTML电子邮件。

从一些条目中，我得到了可怕的Unicode“外部序号128”错误。

在阅读了尽可能多的关于编码和解码的内容后，我知道编码对我来说很重要，但是我很难理解何时或者如何做到这一点。

首先使用plistlib将违规变量拉进来，并从makdown转换为超文本标记语言，如下所示：

entry = result['Entry Text']
donotecontent = markdown2.markdown(entry)

之后，它会像这样被放在电子邮件中：

html = donotecontent + '<br /><br />' + var3
part1 = MIMEText(html, 'html')
msg.attach(part1)

我的问题是，对我来说，什么是最好的方法来确保此内容中的Unicode字符不会导致抛出错误。我更喜欢不忽视角色。

Answer 1

记住：你不能解码一个Unicode，你不能编码一个str

>>> u"\xa0".decode("ascii", "ignore")

Traceback (most recent call last):
  File "<pyshell#7>", line 1, in <module>
    u"\xa0".decode("ascii", "ignore")
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 0: ordinal not in range(128)


>>> "\xc2".encode("ascii", "ignore")

Traceback (most recent call last):
  File "<pyshell#6>", line 1, in <module>
    "\xc2".encode("ascii", "ignore")
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 0: ordinal not in range(128)

查看这篇优秀的教程

Answer 2

假设您使用的是Python 2. x，请记住：有两种类型的字符串：str和Unicode。str是字节字符串，而Unicode是Unicode字符串。可以使用Unicode字符串要表示任何语言的文本，但要在计算机中存储文本或通过电子邮件发送文本，您需要使用字节表示文本。要使用字节表示文本，您需要一种编码格式。编码格式有很多，Python默认使用ascii，但是ascii只能代表几个字符，大部分是英文字母。如果您尝试使用ascii将文本与其他字母编码，您将获得著名的“外部序数128”。例如：

>>> u'Cerón'.encode('ascii')
Traceback (most recent call last):
  File "<input>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xf3' in position 3:
 ordinal not in range(128)

如果使用str（u'ceron'），也会发生同样的情况，因为Python默认使用ascii将unicode转换为str。

要做到这一点，您必须使用不同的编码格式。UTF-8是一种编码格式，可以将任何Unicode文本表示为字节。要将u'Cerón'Unicode字符串转换为字节，您必须使用：

>>> u'Cerón'.encode('utf-8')
'Cer\xc3\xb3n'

这次没有错误。

现在，回到你的电子邮件问题。我可以看到您正在使用MIMEText，它接受一个已经编码的str参数，在您的情况下是html变量。MIMEText也接受一个参数，指定使用哪种编码。因此，在您的情况下，如果html是一个Unicode字符串，您必须将其编码为utf-8并传递charset参数（因为HTMLText默认使用ascii）：

part1 = MIMEText(html.encode('utf-8'), 'html', 'utf-8')

但是要小心，因为如果html已经是str而不是unicode，那么编码就会失败。这是Python2的问题之一。x、 它允许您对已编码的字符串进行编码，但会引发错误。

另一个需要添加到列表中的问题是utf-8与ascii字符兼容，Python将始终尝试使用ascii自动编码/解码字符串。如果您没有正确编码字符串，但您只使用ascii字符，事情会很顺利。但是，如果由于某种原因，一些非ascii字符滑入您的消息，您将获得错误，这使得错误更难检测。

Answer 3

抱歉我蹩脚的英语。我说中文/日语，每天使用CJK字符。Ceron几乎解决了这个问题，因此我不会再讨论如何使用encode（）/decode（）。

当我们使用str（）强制转换任何unicode对象时，它将unicode字符串编码为bytedata；当我们使用unicode（）来转换str对象时，它会将bytedata解码为unicode字符。

并且，编码必须是从sys返回的。getdefaultencoding（）。

默认情况下，sys。getdefaultencoding（）返回“ascii”默认情况下，在执行str（）/unicode（）强制转换时可能会引发编码/解码异常。

如果你想做str

import sys    # sys.setdefaultencoding is cancelled by site.py
reload(sys)    # to re-enable sys.setdefaultencoding()
sys.setdefaultencoding('utf-8')

它将导致以后执行str（）和unicode（）转换任何编码为utf-8的基串对象。

但是，我更喜欢显式地使用encode（）/decode（），因为它使代码维护更容易。