如何在不耗尽内存的情况下从sql查询创建大型pandas数据帧？

Question

我无法从MS SQL Server数据库查询包含超过500万条记录的表。我想选择所有的记录，但我的代码似乎失败时选择多数据到内存。

这是可行的：

import pandas.io.sql as psql
sql = "SELECT TOP 1000000 * FROM MyTable" 
data = psql.read_frame(sql, cnxn)

...但这不起作用：

sql = "SELECT TOP 2000000 * FROM MyTable" 
data = psql.read_frame(sql, cnxn)

File "inference.pyx", line 931, in pandas.lib.to_object_array_tuples
(pandas\lib.c:42733) Memory Error

read_csv('exp4326.csv', iterator=True, chunksize=1000)

Answer 1

更新：请确认下面的答案，因为Pandas现在已经内置了对分块加载的支持。

您可以简单地尝试以块的方式读取输入表，然后从各个片段组装完整的数据帧，如下所示：

import pandas as pd
import pandas.io.sql as psql
chunk_size = 10000
offset = 0
dfs = []
while True:
  sql = "SELECT * FROM MyTable limit %d offset %d order by ID" % (chunk_size,offset) 
  dfs.append(psql.read_frame(sql, cnxn))
  offset += chunk_size
  if len(dfs[-1]) < chunk_size:
    break
full_df = pd.concat(dfs)

也可能是整个数据帧太大，内存无法容纳，在这种情况下，除了限制所选择的行或列的数量之外，您没有其他选择。