python读取几个G的csv文件方法
如下所示：
import pandas as pd
file = pd.read_csv('file.csv',iterator=True)
while True:
chunk = file.get_chunk(1000)
print(chunk.head(10))
print(chunk.tail(10))
以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持小牛知识库。
-
问题内容： 我目前正在尝试从Python 2.7中的.csv文件中读取数据，该文件最多包含100万行和200列（文件范围从100mb到1.6gb）。对于少于300,000行的文件，我可以（非常缓慢地）执行此操作，但是一旦超过该行，就会出现内存错误。我的代码如下所示： 在getstuff函数中使用else子句的原因是，所有符合条件的元素都将一起列在csv文件中，因此，经过它们以节省时间时，我离开了循
-
我有一个文件。 使用Pandas，从这个文件中获得两个DataFrame和的最佳策略是什么？ 输入如下所示： 到目前为止，我想到的最好的方法是转换这个文件转换为Excel工作簿（），将表格拆分为工作表并使用： 然而： 这种方法需要模块。 这些日志文件必须被实时分析，这样就可以更好地找到一种方法来分析它们，因为它们来自日志。 真正的日志比那两个有更多的表。
-
本文向大家介绍android按行读取文件内容的几个方法，包括了android按行读取文件内容的几个方法的使用技巧和注意事项，需要的朋友参考一下 一、简单版 二、简洁版 三、用于长时间使用的apk，并且有规律性的数据 1，逐行读取文件内容 2，保存为文件
-
问题内容： 我正在尝试使用Python（仅法语和/或西班牙语字符）读取带有重音字符的CSV文件。基于csvreader的Python 2.5文档（http://docs.python.org/library/csv.html），由于csvreader仅支持ASCII，因此我想出了以下代码来读取CSV文件。 以下是我尝试阅读的CSV文件的摘录： 即使我尝试将编码/解码为UTF-8，我仍然收到以下异常
-
本文向大家介绍C#读取csv格式文件的方法，包括了C#读取csv格式文件的方法的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了C#读取csv格式文件的方法。分享给大家供大家参考。具体实现方法如下： 一、CSV文件规则 1 开头是不留空，以行为单位。 2 可含或不含列名，含列名则居文件第一行。 3 一行数据不跨行，无空行。 4 以半角逗号（即,）作分隔符，列为空也要表达其存在。 5 列内
-
我的问题是： > 如何使其与较大的文件一起工作？ 有什么办法能让它快一点吗？ 我的电脑有8GB的RAM，运行64位Windows 7，处理器是3.40GHz（不确定你需要什么信息）。