从Python中的巨大CSV文件中读取随机行

Question

我有一个很大的CSV文件（15 Gb），我需要从中读取大约一百万行。据我所见-并实现-Python中的CSV实用程序仅允许在文件中顺序迭代。

将所有文件读入内存以使用一些随机选择非常耗费内存，并且遍历所有文件并丢弃一些值并选择其他值非常耗时，因此， 无论如何 ，
是否有必要从CSV文件中选择一些随机行，只读那行？

我尝试没有成功：

   import csv

    with open('linear_e_LAN2A_F_0_435keV.csv') as file:
        reader = csv.reader(file)
        print reader[someRandomInteger]

CSV文件示例：

331.093,329.735 
251.188,249.994 
374.468,373.782 
295.643,295.159 
83.9058,0 
380.709,116.221 
352.238,351.891 
183.809,182.615 
257.277,201.302
61.4598,40.7106

Answer 1

import random

filesize = 1500                 #size of the really big file
offset = random.randrange(filesize)

f = open('really_big_file')
f.seek(offset)                  #go to random position
f.readline()                    # discard - bound to be partial line
random_line = f.readline()      # bingo!

# extra to handle last/first line edge cases
if len(random_line) == 0:       # we have hit the end
    f.seek(0)
    random_line = f.readline()  # so we'll grab the first line instead

正如@AndreBoos指出的那样，这种方法将导致选择偏向。如果知道线的最小和最大长度，则可以通过执行以下操作消除此偏差：

假设（在这种情况下）我们有min = 3和max = 15

1）找到前一行的长度（Lp）。

然后，如果Lp = 3，则该线的偏置最大。因此，如果Lp = 15，则该行应为100％的时间。我们只应选择20％的时间，因为它选择的可能性高5 *。

我们通过在以下时间随机保留行X％来实现此目的：

X =分钟/ Lp

如果我们不遵守要求，我们将进行另一个随机选择，直到骰子掷骰成功为止。:-)