从一个文件中读取多个JSON[重复]

Question

我正在使用python，我有一个文件（data.json），其中包含多个json，但整个json都不是json。

所以文件看起来像这样：

{ "_id" : 01, ..., "path" : "2017-12-12" }
{ "_id" : 02, ..., "path" : "2017-1-12" }
{ "_id" : 03, ..., "path" : "2017-5-12" }

在<代码>处 大约还有30多个键，其中一些键有嵌套的json（所以我的观点是上面的每个json都很长）。

因此，上面这个单个文件中的每个块都是json，但整个文件不是json，因为它们没有用逗号等分隔。

如何使用pandas或simple python分别阅读这些JSON？

我试过这个：

import pandas as pd
df = pd.read_json('~/Desktop/data.json', lines=True)

它实际上创建了一个数据帧，其中每一行大约是一个json，但它也为json的每个（第一级）键创建了一列，这使得事情变得有点混乱，而不是将整个json直接放在一个单元格中。

更清楚地说，我希望我的输出在“熊猫”数据框架（或另一种合理的数据结构）中是这样的：

    jsons
0   { "_id" : 01, ..., "path" : "2017-12-12" }
1   { "_id" : 02, ..., "path" : "2017-1-12" }
2   { "_id" : 03, ..., "path" : "2017-5-12" }




Answer 1

由于文件本身不是json，所以我将逐行读取它，因为该行是字符串格式，所以我将使用yaml将其转换为dict类型，然后最后我将在数据框中追加它

import yaml
import pandas as pd
f = open('data.json')
line = f.readline()
df = pd.DataFrame()

while line:

    #string line to dict
    d = yaml.load(line)

    #temp dataframe
    df1=pd.DataFrame(d,index=[0])

    #append in every iteration
    df=df.append(df1, ignore_index=True)
    line = f.readline()

f.close()
print(df)
#output
  _id        path
0  01  2017-12-12
1  02   2017-1-12
2  03   2017-5-12

Answer 2

想法是使用数据中不存在分隔符的读取csv，然后将列的每个值转换为字典：

import pandas as pd
import ast, json
from io import StringIO

temp=u"""{ "_id" : 1,  "path" : "2017-12-12" }
{ "_id" : 2,  "path" : "2017-1-12" }
{ "_id" : 3,  "path" : "2017-5-12" }"""
#after testing replace 'pd.compat.StringIO(temp)' to 'filename.csv'
df = pd.read_csv(StringIO(temp), sep="|", names=['data'])

print (df)

#jsons
df['data'] = df['data'].apply(json.loads)
#dictionaries
#df['data'] = df['data'].apply(ast.literal_eval)

print (df)
                               data
0  {'_id': 1, 'path': '2017-12-12'}
1   {'_id': 2, 'path': '2017-1-12'}
2   {'_id': 3, 'path': '2017-5-12'}