Python读取sql返回生成器对象

Question

我使用pyodbc和pandas-read_-sql从Oracle数据库中提取数据。

当我进入这一行时，我没有看到任何错误

df = pd.read_sql(sql_str,cnxn,chunksize=10)

但是当我试着看的时候

df

我得到这个错误

<generator object _query_iterator at 0x092D40F8>

我对这一错误的含义或可能的原因进行了研究，但没有得出令人满意的答案。

使用chunksize的原因是我有一个包含6000万行的Oracle db表，并计划以位的形式下载，然后将它们放在一起，就像这里：如何从sql查询创建一个大数据帧而不耗尽内存？

Answer 1

我想发表评论，但现在还不能。无论如何，这不是一个告诉您df是生成器对象的错误。

Answer 2

正如chunksize的解释所说，当指定时，它返回一个迭代器，其中chunksize是每个块中包含的行数。
所以您可以迭代结果，并对每个块做一些事情：

for chunk in pd.read_sql_query(sql_str, engine, chunksize=10):
    do_something_with(chunk)

通常，您可以处理块并将其添加到列表中，然后在此之后，循环将此列表中所有已处理的块放在一起。

另请参见有关sql查询的文档：http://pandas.pydata.org/pandas-docs/stable/io.html#querying 举个例子。