在REDIS中管理超过百万个结果

Question

我对使用REDIS相当陌生，但我已经看到了一些限制，或者我不确定该使用什么。

因此，用例是，我正在基于SQL中的数据进行批处理计算，这些数据运行单独的thread/GAE实例，例如100k是块大小，然后我需要以某种方式将这100k数据存储在REDIS中，并从不同的thread/GAE访问它（但我并不真正需要整个集合/哈希/值，我需要这100k中的一个）。

例如，我要存储的每个值如下：

{myData1: {a: 'a', b:'c'}, myData2:{a: 'a', b:'c'}, myData100000: {a: 'a', b:'c'}}

我想检索例如myData70000值。

关键点是，我需要使用REDIS作为（某种地图）集合，在那里我可以追加数据（所以其他线程可以追加另一个100k到以前的100k等，或者覆盖单个结果），以及从集合中获取单个键，如上所述在O（1）复杂度。

我可以很容易地在REDIS中创建单个键/值引用，比如myData1:JSON。strigfy（数据），但计算可以创建大约5000万个引用，然后再对这些引用进行批处理，生成1mil块（因此自然选择将它们作为某种集合），插入SQL，然后清除。

在REDIS中做如此复杂的事情的自然方式是什么？

Answer 1

Redis哈希非常适合这种处理，它提供了O（1）时间复杂度。

还要考虑散列散列以减少总内存占用。请参阅下面的链接instagram如何存储此类信息(https://instagram-engineering.com/storing-hundreds-of-millions-of-simple-key-value-pairs-in-redis-1091ae80f74c)

Redis很好地记录了这种情况（https://redis.io/topics/memory-optimization）希望这将为您提供足够的信息