大文件中最高效的搜索-Python

Question

我正在大文本文件中搜索匹配项，但我发现它太慢了。这是文件结构：

word1   5752
word2   96332
word3   137

我正在尝试匹配第一列的文本，我想提取第二列的值。列之间用\t隔开，大约有1000万行。用不同的单词多次搜索文件。什么搜索方法的时间效率最好？

编辑：文件大小为129 Mb，将被搜索至少数千次。EDIT2：文件是按字母顺序排序的，只有当单词有不同的大写字母时，它们才能出现多次。例如：单词都是不同的条目。

Answer 1

这是为了任务还是为了工作/项目？我不知道人们对重新实现核心算法的看法，但你的文本文件有多大？

使用Pandas的另一种方法易于使用和底层优化：

In [61]: df = pd.read_csv(r'C:\temp\data.txt', header=None, sep='  ')

In [62]: df
Out[62]:
       0      1
0  word1   5752
1  word2  96332
2  word3    137

In [63]: df[df[0] == 'word2']
Out[63]:
       0      1
1  word2  96332

In [64]: df[df[0] == 'word2'][1]
Out[64]:
1    96332
Name: 1, dtype: int64

2个问题：

1） 是否可以将其保存在内存中，而不是每次重新加载？（可能TTL大约一个小时？）

2） 你的文件分类了吗？我认为二进制搜索首先需要对数据进行排序。每次必须读取数据时进行排序会对性能产生什么影响？

Answer 2

如果将数据存储在哈希表（python字典结构）中，则执行此操作将非常快。您的“键”是名称，每个键都有一个“值”，即数字。下面显示的代码利用哈希来更快地检索数据：

yourDict = {'name0':number0,'name1':number1,...,'nameN':numberN}
if 'checkName' in yourDict:
    #It exists!
    theNumber = yourDict['checkName']
else:
    #It doesn't exist :/

*注意：如果您使用：

if 'checkName' in yourDict.keys():

您实际上是在创建一个键列表，然后搜索它们。此操作不使用哈希表（慢得多）。

这是关于手持数据结构如何工作的一点：https://www.youtube.com/watch?v=MfhjkfocRR0

这是一个显示python中的字典类似于哈希表的答案：Python字典是哈希表的示例吗？

Answer 3

with open('myfile.dat','r') as src:
    mapping = dict((line.strip().split('\t') for line in src if line))

根据文件和内存的大小，这可能是一个解决方案。如果在程序运行期间必须多次执行这种搜索算法。