如何将Parquet文件读入Pandas DataFrame？

Question

如何在不设置集群计算基础设施（如Hadoop或Spark）的情况下将大小适中的Parket数据集读取到内存中的Pandas DataFrame中？这只是我想在笔记本电脑上使用简单的Python脚本在内存中读取的适度数据。数据不驻留在HDFS上。它要么在本地文件系统上，要么可能在S3中。我不想启动和配置其他服务，如Hadoop、Hive或Spark。

我原以为Blaze/Odo会使这成为可能:Odo文档提到了Parquet，但这些例子似乎都是通过外部Hive运行时实现的。

Answer 1

除了熊猫，Apache pyarrow还提供了将拼花地板转换为数据框架的方法

代码很简单，只需键入：

import pyarrow.parquet as pq

df = pq.read_table(source=your_file_path).to_pandas()

有关详细信息，请参阅Apache pyrow读取和写入单个文件中的文档

Answer 2

更新：自从我回答这个问题以来，为了更好地读写拼花地板，在Apache Arrow上做了很多工作。另外：http://wesmckinney.com/blog/python-parquet-multithreading/

有一个python拼花阅读器工作得相对较好:https://github.com/jcrobak/parquet-python

它将创建python对象，然后您必须将它们移动到Pandas数据帧，因此该过程将比< code>pd.read_csv慢。

Answer 3

熊猫0.21为拼花引入了新功能：

import pandas as pd
pd.read_parquet('example_pa.parquet', engine='pyarrow')

或

import pandas as pd
pd.read_parquet('example_fp.parquet', engine='fastparquet')

上面的链接说明：

这些引擎非常相似，应该读/写几乎相同的拼花格式文件。这些库因具有不同的底层依赖关系而不同（fastparquet使用numba，而pyarrow使用c-库）。