改善Pandas DataFrame的行追加性能

Question

我正在运行一个基本脚本，该脚本遍历嵌套字典，从每个记录中获取数据，并将其附加到Pandas DataFrame。数据看起来像这样：

data = {"SomeCity": {"Date1": {record1, record2, record3, ...}, "Date2": {}, ...}, ...}

总共有几百万条记录。脚本本身如下所示：

city = ["SomeCity"]
df = DataFrame({}, columns=['Date', 'HouseID', 'Price'])
for city in cities:
    for dateRun in data[city]:
        for record in data[city][dateRun]:
            recSeries = Series([record['Timestamp'], 
                                record['Id'], 
                                record['Price']],
                                index = ['Date', 'HouseID', 'Price'])
            FredDF = FredDF.append(recSeries, ignore_index=True)

但是，这非常缓慢。在寻找并行化方法之前，我只是想确保我没有错过任何明显的东西，这些东西可以使它按原样更快地执行，因为我对Pandas还是很陌生。

Answer 1

我还在循环中使用了数据框的 append 函数，感到困惑的是它的运行速度如何。

根据此页面上的正确答案，为遭受苦难的人提供有用的示例。

Python版本：3

熊猫版：0.20.3

# the dictionary to pass to pandas dataframe
dict = {}

# a counter to use to add entries to "dict"
i = 0

# Example data to loop and append to a dataframe
data = [{"foo": "foo_val_1", "bar": "bar_val_1"}, 
       {"foo": "foo_val_2", "bar": "bar_val_2"}]

# the loop
for entry in data:

    # add a dictionary entry to the final dictionary
    dict[i] = {"col_1_title": entry['foo'], "col_2_title": entry['bar']}

    # increment the counter
    i = i + 1

# create the dataframe using 'from_dict'
# important to set the 'orient' parameter to "index" to make the keys as rows
df = DataFrame.from_dict(dict, "index")

“ from_dict”函数：https
://pandas.pydata.org/pandas-
docs/stable/generation/pandas.DataFrame.from_dict.html