python分块读取大数据,避免内存不足的方法
如下所示：
def read_data(file_name):
'''
file_name:文件地址
'''
inputfile = open(file_name, 'rb') #可打开含有中文的地址
data = pd.read_csv(inputfile, iterator=True)
loop = True
chunkSize = 1000 #一千行一块
chunks = []
while loop:
try:
chunk = dcs.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
data = pd.concat(chunks, ignore_index=True)
#print(train.head())
return data
以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持小牛知识库。
-
我正在一个项目，需要处理成千上万的活动套接字并发连接。现在我正在查看内存使用和V8引擎，我使用的是Node.js V0.10.19（稳定）
-
我的Codename One应用程序下载了大约16000条数据记录(每条记录中大约有10个字段)。 在我的Android手机(OS6.0，RAM 2GB)上，它能够加载8000到9000条记录，但随后显示内存不足错误。 从跟踪来看，它似乎用完了分配给应用程序的堆内存。 有什么建议吗？请问处理如此大量数据的理想方法是什么？ 这是日志文件
-
本文向大家介绍php查询mysql大量数据造成内存不足的解决方法，包括了php查询mysql大量数据造成内存不足的解决方法的使用技巧和注意事项，需要的朋友参考一下 本文实例分析了php查询mysql大量数据造成内存不足的解决方法。分享给大家供大家参考。具体分析如下： 一、问题 使用php查询mysql大数据量的时候，程序尚未执行完毕，跳出警告： Fatal error: Allowed memo
-
我正在编写一个工匠控制台命令，该命令循环遍历表中的所有记录，并在该表上重新生成一个字段。 该字段是一个，并作为特定字符串的生成。 最初我的代码是这样的： 当达到28,000条记录中的大约10,000条时，它会因内存耗尽错误而死亡： PHP致命错误：已耗尽268435456字节的允许内存大小（尝试分配4096字节） 我想ing这可能会有帮助： 但我仍然得到一个内存耗尽错误。 我如何在不增加内存限制的
-
上面链接中的代码正在工作，但可以传输到一定数量的数据。当我试图传输一个大小约为334 MB的.mkv格式的电影时，它给出了“内存不足，java堆大小”的错误。我是一个乞丐，我不知道如何解决这个问题，我试图在客户端程序中增加缓冲区大小，但问题仍然存在。请帮帮我.
-
问题内容： 我得到了一个将巨大的表转换为自定义XML文件的任务。我将使用Java来完成这项工作。 如果我只是发出“ SELECT * FROM customer”，它可能会返回大量数据，这些数据最终会导致OOM。我想知道，有没有一种方法可以立即处理记录，一旦可用，就可以在sql检索过程中从内存中删除记录？ -–于2009年7月13日编辑 让我详细说明我的问题。我有1个数据库服务器和1个应用程序服务