加快写入文件

Question

我已经介绍了一些我使用cProfile继承的旧代码。我已经进行了很多更改，这些更改有所帮助（例如使用simplejson的C扩展！）。

基本上，此脚本将数据从一个系统导出到ASCII固定宽度文件。每行都是一条记录，并且具有许多值。每行是7158个字符，并包含大量空格。总记录数为150万条记录。每行一次生成一次，并需要一段时间（每秒5-10行）。

生成每一行时，将尽可能简单地将其写入磁盘。分析表明，约
19-20％的时间用于file.write()。对于1,500行的测试用例，即20秒。我想减少这个数字。

现在看来，下一个胜利将是减少写入磁盘的时间。如果可能的话，我想减少它。我可以在内存中保留记录缓存，但是我不能等到最后将其全部转储。

fd = open(data_file, 'w')
for c, (recordid, values) in enumerate(generatevalues()):
        row = prep_row(recordid, values)
        fd.write(row)
        if c % 117 == 0:
                if limit > 0 and c >= limit:
                        break
                sys.stdout.write('\r%s @ %s' % (str(c + 1).rjust(7), datetime.now()))
                sys.stdout.flush()

我的第一个想法是将记录的缓存保留在列表中，然后分批写出。这样会更快吗？就像是：

rows = []
for c, (recordid, values) in enumerate(generatevalues()):
        rows.append(prep_row(recordid, values))
        if c % 117 == 0:
            fd.write('\n'.join(rows))
            rows = []

我的第二个想法是使用另一个线程，但这使我想死在里面。

Answer 1

分批写入500个组确实确实大大提高了写入速度。对于此测试用例，写入行分别在I /
O中花费21.051秒，而分批写入117则花费5.685秒来写入相同数量的行。批次500仅花费了0.266秒。