太长的数据帧应用行函数

Question

读取列中包含时间值的csv文件，并尽可能高效地获取包含1列值和日期时间索引的数据帧。我做了一个read_csv，然后是一个stack和下面的函数，但是这会消耗更多的时间和内存。

有人有更好的方法吗？

df.apply(lambda row: row['DATE'] + relativedelta( hours = int(row['level_2'][2:])), axis=1)

DATE        H01 H02 H03 H04 ...
2014/01/01  1.2 2.4 3.3 4.1
2014/01/02  4.3 2.6 3.2 4.1

并获得：

DATE
2014-01-01 00:00:00    1.2
2014-01-01 01:00:00    2.4
2014-01-01 02:00:00    3.3
2014-01-01 03:00:00    4.1

Answer 1

您要查找的命令是堆栈。留档中的更多信息：http://pandas.pydata.org/pandas-docs/stable/reshaping.html#reshaping-by-stacking-and-unstacking

基本上，您正在考虑使用堆栈，然后将Hxx转换为xx： 00:00，这应该很简单。

Answer 2

如果每小时（即24小时）都有一列，并且每个日期都存在，那么最好使用numpy进行重新整形（速度会快得多），只需通过date\u range生成DatetimeIndex即可。

假设日期是索引（它是一个DatetimeIndex），其他24列是小时：

vals = df.values.reshape(-1)
new_index = pd.date_range(start=df.index[0], periods=24*len(df), freq='H')
pd.Series(vals, new_index)

否则，您可以使用itertools产品创建新索引。。。。首先，我将在以下时间制作专栏：

df.columns = np.arange(0, len(df.columns)) * pd.offsets.Hour(1)

In [11]: df
Out[11]: 
            <0 * Hours>  <Hour>  <2 * Hours>  <3 * Hours>
DATE                                                     
2014-01-01          1.2     2.4          3.3          4.1
2014-01-02          4.3     2.6          3.2          4.1

注意：同样，重要的是DATE在这里是一个DatetimeIndex。

from itertools import product
new_index = [t + td for t, td in product(df.index, df.columns)]

In [21]: pd.Series(df.values.reshape(-1), new_index)
Out[21]: 
2014-01-01 00:00:00    1.2
2014-01-01 01:00:00    2.4
2014-01-01 02:00:00    3.3
2014-01-01 03:00:00    4.1
2014-01-02 00:00:00    4.3
2014-01-02 01:00:00    2.6
2014-01-02 02:00:00    3.2
2014-01-02 03:00:00    4.1
dtype: float64