正在读取a。csv文件比读取压缩为的相同文件更快。广州
看起来有点讽刺，但当我读2GB的时候。csv文件逐行使用BufferedReader，耗时约4.5秒。我用大约230MB的gzip压缩了文件。我使用了用BufferedReader包装的GZIPInputStream来读取。gz文件。大约用了8.5秒。
我知道InputStream接口读取的是字节数据，而不是读卡器，但我认为如果一个200MB的文件加载到内存会更快。是否可以使用实现更好的性能。gz？谢谢
共有2个答案
您的计算机解压缩文件需要多长时间？我可以猜大约8.5-4.5=4秒吗？我想这就是它需要额外时间的原因之一。
GZIPInputStream正在解压缩文件，因为它正在读取它。解压有一些开销，这可以解释花费的额外时间。
-
我正试图从压缩的csv文件中获取数据。有没有一种方法可以做到这一点，而不解压整个文件？如果没有，我如何解压文件并有效地读取它们？
-
我正在尝试将压缩的csv文件（.bz2）读取为数据帧。我的代码如下 当我在IDE中尝试时，这是可行的。我可以读取数据并对其进行处理，但当我尝试使用maven构建数据并在命令行上运行它时，会出现以下错误 我不确定我是否在这里错过了什么。读取csv文件是否有一些依赖项？根据留档，Spark 2. x. x内置了对此的支持。
-
这是我在大学的一个项目，一切似乎都很好，除了游戏课，它初始化了游戏。下面是一个片段 之后是一些getter和我要实现的4个方法。这些方法是、、、 我创建了，以便它在此处返回String[]的数组列表： 然后，我想加载一些攻击、敌人和龙，并将它们插入相应的数组列表中。 我在此处应用了: 我这样写它，它接受从返回的ArrayList，并使用开关在ArrayList中的每个String[]中搜索第一个字
-
我在on文件夹的几个zip文件中有几个csv文件，例如： null zip中的一个csv是这样工作的： 你知道如何优化这个循环吗？
-
我在读取压缩的csv文件时出错。错误如下：“zlib.error：解压缩时错误-3：设置的距离无效” 代码： 我在文件上尝试了Gunzip，它没有任何问题。我使用Gunzip-t。它给rc 0。
-
我试图解压缩一个csv文件并将其传递给熊猫，这样我就可以处理这个文件了。 到目前为止，我尝试的代码是： 在最后一行之后，尽管python能够获取该文件，但在错误的末尾我得到了一个“不存在”。 有人能告诉我我做错了什么吗？