快速将JSON列转换为Pandas数据框

Question

我正在从一列存储为JSON的数据库（超过5万行）中读取数据。我想将其提取到pandas数据框中。下面的代码片段可以正常工作，但是效率很低，并且在对整个数据库运行时会花费很多时间。请注意，并非所有项目都具有相同的属性，并且JSON具有一些嵌套的属性。

我怎样才能使它更快？

import pandas as pd
import json

df = pd.read_csv('http://pastebin.com/raw/7L86m9R2', \
                 header=None, index_col=0, names=['data'])

df.data.apply(json.loads) \
       .apply(pd.io.json.json_normalize)\
       .pipe(lambda x: pd.concat(x.values))
###this returns a dataframe where each JSON key is a column

Answer 1

json_normalize接受一个已经处理过的json字符串或一系列这样的字符串。

pd.io.json.json_normalize(df.data.apply(json.loads))

设定

import pandas as pd
import json

df = pd.read_csv('http://pastebin.com/raw/7L86m9R2', \
                 header=None, index_col=0, names=['data'])