读取并解析TSV文件，然后对其进行处理以保存为CSV（*高效*）

Question

我的源数据在一个TSV文件中，包含6列和超过200万行。

这是我要完成的工作：

1. 我需要读取此源文件中3列（3、4、5）中的数据
2. 第五列是整数。我需要使用此整数值来复制行条目，并使用第三和第四列中的数据（按整数倍）。
3. 我想将＃2的输出写入CSV格式的输出文件。

以下是我想到的。

我的问题：这是一种有效的方法吗？尝试进行200万行时，它似乎很密集。

首先，我制作了一个示例选项卡单独的文件以供使用，并将其命名为“ sample.txt”。它是基本的，只有四行：

Row1_Column1    Row1-Column2    Row1-Column3    Row1-Column4    2   Row1-Column6
Row2_Column1    Row2-Column2    Row2-Column3    Row2-Column4    3   Row2-Column6
Row3_Column1    Row3-Column2    Row3-Column3    Row3-Column4    1   Row3-Column6
Row4_Column1    Row4-Column2    Row4-Column3    Row4-Column4    2   Row4-Column6

然后我有这段代码：

import csv

with open('sample.txt','r') as tsv:
    AoA = [line.strip().split('\t') for line in tsv]

for a in AoA:
    count = int(a[4])
    while count > 0:
        with open('sample_new.csv', 'a', newline='') as csvfile:
            csvwriter = csv.writer(csvfile, delimiter=',')
            csvwriter.writerow([a[2], a[3]])
        count = count - 1

Answer 1

您应该使用该csv模块读取制表符分隔的值文件。不要 不
读入内存中一气呵成。毕竟，您阅读的每一行都有将行写入输出CSV文件所需的所有信息。始终保持打开输出文件。

import csv

with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows([row[2:4] for _ in range(count)])

或者，使用itertools模块重复以下操作itertools.repeat()：

from itertools import repeat
import csv

with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows(repeat(row[2:4], count))