如何快速获取一个巨大的csv文件(48M行）的最后一行？

Question

我有一个csv文件，它一直增长到大约48M行。

在向它添加新行之前，我需要阅读最后一行。

我尝试了下面的代码，但它太慢了，我需要一个更快的替代方案：

def return_last_line(filepath):    
    with open(filepath,'r') as file:        
        for x in file:
            pass
        return x        
return_last_line('lala.csv')

Answer 1

这通常是一件相当棘手的事情。获得包含最后一行的块的一种非常有效的方法如下：

import os


def get_last_lines(path, offset=500):
    """ An efficient way to get the last lines of a file.

    IMPORTANT: 
    1. Choose offset to be greater than 
    max_line_length * number of lines that you want to recover.
    2. This will throw an os.OSError if the file is shorter than
    the offset.
    """
    with path.open("rb") as f:
        f.seek(-offset, os.SEEK_END)
        while f.read(1) != b"\n":
            f.seek(-2, os.SEEK_CUR)
        return f.readlines()

您需要知道最大的行长度，但确保文件至少是一个偏移量长！

要使用它,请执行以下操作：

from pathlib import Path


n_last_lines = 10
last_bit_of_file = get_last_lines(Path("/path/to/my/file"))
real_last_n_lines = last_bit_of_file[-10:]

现在，您需要将二进制文件解码为字符串：

real_last_n_lines_non_binary = [x.decode() for x in real_last_n_lines]

可能所有这些都可以用一个更方便的函数来包装。