在Python中排序1M记录的最佳方法

Question

我有一个运行的服务，该服务接受约1,000,000词典的列表，并执行以下操作

myHashTable = {}
myLists = { 'hits':{}, 'misses':{}, 'total':{} }
sorted = { 'hits':[], 'misses':[], 'total':[] }
for item in myList:
  id = item.pop('id')
  myHashTable[id] = item
  for k, v in item.iteritems():
    myLists[k][id] = v

因此，如果我有以下词典列表：

[ {'id':'id1', 'hits':200, 'misses':300, 'total':400},
  {'id':'id2', 'hits':300, 'misses':100, 'total':500},
  {'id':'id3', 'hits':100, 'misses':400, 'total':600}
]

我最终

myHashTable =
{ 
  'id1': {'hits':200, 'misses':300, 'total':400},
  'id2': {'hits':300, 'misses':100, 'total':500},
  'id3': {'hits':100, 'misses':400, 'total':600}
}

和

myLists =

    {
      'hits': {'id1':200, 'id2':300, 'id3':100},
      'misses': {'id1':300, 'id2':100, 'id3':400},
      'total': {'id1':400, 'id2':500, 'id3':600}
    }

然后，我需要对每个myLists词典中的所有数据进行排序。

我目前正在做的事情如下所示：

def doSort(key):
  sorted[key] = sorted(myLists[key].items(), key=operator.itemgetter(1), reverse=True)

which would yield, in the case of misses:
[('id3', 400), ('id1', 300), ('id2', 200)]

当我有100,000条左右的记录时，这种方法效果很好，但是，如果有1,000,000条记录，则至少需要5-10分钟才能对每条记录进行排序，总共需要16条记录（我的原始词典列表实际上有17个字段，其中包括弹出的id）

编辑
此服务是ThreadingTCPServer，它具有允许客户端连接并添加新数据的方法。新数据可能包括新记录（意味着字典中具有与内存中唯一的“
id”相对应的字典）或修改过的记录（意味着其他键值对具有不同数据的相同“ id”

因此，一旦运行，我就会通过

[
  {'id':'id1', 'hits':205, 'misses':305, 'total':480},
  {'id':'id4', 'hits':30, 'misses':40, 'total':60},
  {'id':'id5', 'hits':50, 'misses':90, 'total':20
]

我一直在使用字典来存储数据，以免出现重复。用新的/修改的数据更新字典后，我将对每个字典进行重新排序。

结束编辑

那么，对我来说最好的分类方式是什么？有没有更好的方法？

Answer 1

您可以从Guido中找到以下相关答案： 使用Python在2MB
RAM中对一百万个32位整数进行排序