UnicodeEncodeError:“charmap”编解码器无法对字符进行编码

Question

我正试图抓取一个网站，但它给了我一个错误。

我正在使用以下代码：

import urllib.request
from bs4 import BeautifulSoup

get = urllib.request.urlopen("https://www.website.com/")
html = get.read()

soup = BeautifulSoup(html)

print(soup)

我得到了以下错误：

File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined>

我能做些什么来解决这个问题？

Answer 1

在Python3.7和运行Windows10中，这一点起了作用（我不确定它是否能在其他平台和/或其他版本的Python上工作）

替换此行：

打开（'filename'，'w'）作为f:

用这个：

与打开（'filename'，'w'，编码='utf-8'）作为f：

它工作的原因是，在使用文件时，编码更改为UTF-8，因此UTF-8中的字符可以转换为文本，而不是在遇到当前编码不支持的UTF-8字符时返回错误。

Answer 2

我通过添加. encode（"utf-8"）来修复它。

这意味着print（soup）变成了print（soup.encode（“utf-8”）。

Answer 3

当我将抓取的web内容保存到一个文件中时，我得到了相同的unicodeincoder错误。为了修复它，我替换了以下代码：

with open(fname, "w") as f:
    f.write(html)

用这个：

with open(fname, "w", encoding="utf-8") as f:
    f.write(html)

如果需要支持Python 2，请使用以下命令：

import io
with io.open(fname, "w", encoding="utf-8") as f:
    f.write(html)

如果您的文件编码为UTF-8以外的代码，请指定您的实际编码为编码。