解析JSON[python]时的解码问题

Question

我正在阅读Python中的JSON文件，它有很多字段和值（约8000条记录）。env： windows 10， python 3.6.4；代码：

import json
json_data = json.load(open('json_list.json'))
print (json_data)

有了这个，我得到一个错误。下面是堆栈跟踪：

  json_data = json.load(open('json_list.json'))
  File "C:\Program Files (x86)\Python36-32\lib\json\__init__.py", line 296, in load
    return loads(fp.read(),
  File "C:\Program Files (x86)\Python36-32\lib\encodings\cp1252.py", line 23, in decode
    return codecs.charmap_decode(input,self.errors,decoding_table)[0]
UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 7977319: character maps to <undefined>

除此之外，我也试过了

import json
with open('json_list.json', encoding='utf-8') as fd:
     json_data = json.load(fd)
     print (json_data)

有了这个，我的程序运行了很长时间，然后挂起，没有输出。

我搜索了几乎所有与此相关的主题，但找不到解决方案。

注意：JSON数据是有效的，因为当我在Postman/任何REST客户端上看到它时，它不会报告任何异常。

关于如何加载我的JSON数据的任何帮助或替代解决方案（任何方式将其转换为字符串，然后返回到JSON等）都将有很大的帮助。

以下是报告的错误周围的文件外观：

>>> from pprint import pprint
>>> f = open('C:/Users/c5242046/Desktop/test2/dblist_rest.json', 'rb')
>>> f.seek(7977319)
7977319
>>> pprint(f.read(100))
(b'\x81TICA EL ABGEN INGL\xc3\x83\xc2\x89S, S.A.","memory_size_gb":"64","since'
 b'":"2017-04-10","storage_size_gb":"84.747')

Answer 1

您询问的代码片段似乎是双重编码的。基本上，无论最初生成这些数据的是什么，都会生成拉丁语-1或某些相关编码的文本（Windows代码页1252？）。然后，它被送入一个将拉丁语-1转换为UTF-8的过程。。。两次

当然，“转换”已经是UTF-8的数据，但告诉计算机它是拉丁语-1，只会产生mojibake。

字符串INGL\xc3\x83\xc2\x89S表明了这种分析，如果您可以猜到它应该是大写的INGLés，认识到É的UTF-8编码是\xC3\x89，然后检查这两个字节用拉丁语-1编码的字符（或者，碰巧是Unicode，它是拉丁语-1的超集，尽管它们在编码级别上不兼容）。

请注意，能够猜测一个有问题的序列应该代表哪个字符串是这里的关键步骤；它还解释了为什么包括有问题数据的代表性片段——有足够的上下文！-对于调试至关重要。

无论如何，如果整个文件都有相同的症状，您应该能够撤消第二轮多余且不正确的重新编码；虽然文件中的一个错误让我觉得可能是一个局部问题，只有一条或几条记录。可能它们是从多个输入文件中合并而来的，其中只有一个有此错误。然后修复它需要相当多的检测工作和手动编辑，或者识别和修复错误的来源。一个快速而肮脏的解决方法是简单地手动删除任何错误记录。