我如何能有效地保存在hdf5中的python熊猫数据帧，并在R中打开它作为数据帧？

Question

我认为标题涵盖了这个问题，但要阐明：

pandas python包有一个DataFrame数据类型，用于在python中保存表数据。它还有一个方便的hdf5文件格式接口，因此数据帧（和其他数据）可以使用简单的类似dict的接口保存（假设您安装了pytables）

import pandas 
import numpy
d = pandas.HDFStore('data.h5')
d['testdata'] = pandas.DataFrame({'N': numpy.random.randn(5)})
d.close()

到目前为止还不错。然而，如果我尝试加载相同的hdf5到R我看到事情不是那么简单：

> library(hdf5)
> hdf5load('data.h5')
NULL
> testdata
$block0_values
         [,1]      [,2]      [,3]       [,4]      [,5]
[1,] 1.498147 0.8843877 -1.081656 0.08717049 -1.302641
attr(,"CLASS")
[1] "ARRAY"
attr(,"VERSION")
[1] "2.3"
attr(,"TITLE")
[1] ""
attr(,"FLAVOR")
[1] "numpy"

$block0_items
[1] "N"
attr(,"CLASS")
[1] "ARRAY"
attr(,"VERSION")
[1] "2.3"
attr(,"TITLE")
[1] ""
attr(,"FLAVOR")
[1] "numpy"
attr(,"kind")
[1] "string"
attr(,"name")
[1] "N."

$axis1
[1] 0 1 2 3 4
attr(,"CLASS")
[1] "ARRAY"
attr(,"VERSION")
[1] "2.3"
attr(,"TITLE")
[1] ""
attr(,"FLAVOR")
[1] "numpy"
attr(,"kind")
[1] "integer"
attr(,"name")
[1] "N."

$axis0
[1] "N"
attr(,"CLASS")
[1] "ARRAY"
attr(,"VERSION")
[1] "2.3"
attr(,"TITLE")
[1] ""
attr(,"FLAVOR")
[1] "numpy"
attr(,"kind")
[1] "string"
attr(,"name")
[1] "N."

attr(,"TITLE")
[1] ""
attr(,"CLASS")
[1] "GROUP"
attr(,"VERSION")
[1] "1.0"
attr(,"ndim")
[1] 2
attr(,"axis0_variety")
[1] "regular"
attr(,"axis1_variety")
[1] "regular"
attr(,"nblocks")
[1] 1
attr(,"block0_items_variety")
[1] "regular"
attr(,"pandas_type")
[1] "frame"

这就引出了我的问题：理想的情况下，我能够从R到熊猫来回地拯救它们。很明显，我可以编写一个从pandas到R的包装器（我认为……虽然我认为如果我使用pandas多索引，可能会变得更加棘手），但我认为我不能轻松地在pandas中使用这些数据。有什么建议吗？

额外的好处：我真正想做的是在R中使用data.table包和熊猫数据帧（两个包中的键控方法可疑地相似）。任何关于那个的帮助都非常感激。

Answer 1

我建议使用由Wes和Hadley构建的feather来解决在R和Python之间有效传输数据的问题。

python

import numpy as np
import pandas as pd
import feather as ft

df = pd.DataFrame({'N': np.random.randn(5)})
ft.write_dataframe(df, 'df.feather')

R

library(data.table)
library(feather)

dt <- data.table(read_feather("df.feather"))
dt
           N
1: 0.2777700
2: 1.4083377
3: 1.2940691
4: 0.8221348
5: 1.8552908

Answer 2

下拉到pytable并在那里存储/获取数据是有意义的。

最终，数据帧是一系列的dict，这就是HDF5表。由于不兼容的数据类型，对转换有限制，但对于数字数据，转换应该是直接的。

熊猫存储HDF5的方式更像是一个二进制斑点。它必须支持HDF5完全支持的数据帧的所有细微差别。

https://github.com/dalejung/trtools/blob/master/trtools/io/pytables.py

有一些这样的熊猫/hdf5咀嚼代码。

Answer 3

如果你还在看这个，看看google group上的这篇文章。它展示了如何通过HDF5在熊猫/R之间交换数据。

https://groups.google.com/forum/?fromgroups#！主题/pydata/0LR72GN9p6w