并行读取大文件？

Question

我有一个大文件，需要阅读并制作字典。我希望尽快。但是我在python中的代码太慢了。这是显示问题的最小示例。

首先制作一些假数据

paste <(seq 20000000) <(seq 2 20000001)  > largefile.txt

现在，这里是一个最小的python代码片段，可以读入它并制作一个字典。

import sys
from collections import defaultdict
fin = open(sys.argv[1])

dict = defaultdict(list)

for line in fin:
    parts = line.split()
    dict[parts[0]].append(parts[1])

时间：

time ./read.py largefile.txt
real    0m55.746s

但是，可以更快地读取整个文件，如下所示：

time cut -f1 largefile.txt > /dev/null    
real    0m1.702s

我的CPU有8个核心，是否可以在python中并行化此程序以加快速度？

一种可能是读取大块输入，然后在不同的非重叠子块上并行运行8个进程，从而从内存中的数据并行创建字典，然后读取另一个大块。这可能在python中以某种方式使用多处理吗？

更新 。假数据不是很好，因为每个密钥只有一个值。更好的是

perl -E 'say int rand 1e7, $", int rand 1e4 for 1 .. 1e7' > largefile.txt

Answer 1

几年前，蒂姆·布雷（Tim Bray）的网站[1]上有一篇博客文章“ Wide Finder Project”。您可以从ElementTree
[3]和PIL [4]的名声中找到Fredrik
Lundh的解决方案[2]。我知道通常不建议在此站点上发布链接，但我认为这些链接比复制粘贴他的代码给您更好的答案。

[1] http://www.tbray.org/ongoing/When/200x/2007/10/30/WF-
Results

[2] http://effbot.org/zone/wide-finder.htm
[3] http
：//docs.python.org/3/library/xml.etree.elementtree.html
[4]
http://www.pythonware.com/products/pil/