将数据从redis哈希转储到postgresql表的更快方法

Question

我正在进行批量数据处理，为了速度起见，我首先将数据存储在redis中，然后每隔2分钟将其转储到postgresql数据库中。我使用了redis散列来存储数据，甚至redis中的散列键也对应于数据库表中的列。

使用redis.scan（）获取存储数据行的redis哈希列表，然后使用redis.hgetall（）获取哈希中的数据。从那里，我在SqlAlChemy中创建了一个SQL插入语句，并执行批量数据插入到数据库中。

我面临的问题是，我必须首先使用扫描提取包含我的数据的密钥：

redis_match = 'data:row_keys:*'
row_keys = rdb.scan_iter(match=redis_match, count=limit_no)

从那里，我获取每个哈希中的所有数据：

for index, row_id in enumerate(row_keys):
    row_data = rdb.hgetall(row_id)

row_data是key： value的形式，但它存储在byte的形式中，因此我需要额外的开销来手动解码每个键和值：

for key, value in row_data.items():
  key = ast.literal_eval(key.decode('unicode_escape'))
  value = ast.literal_eval(value.decode('unicode_escape'))

我觉得这太过分了，必须有更优雅的方式：

1. 使用hgetall（）从redis获取数据，并且能够立即将该数据用于批量SQL插入，因为redis哈希中的键对应于postgresql表中的列名
2. 即使1是不可能的，至少必须有一个更快的方法来使用hgetall（）从redis获取数据，并对整个条目（即散列中的所有条目）进行一些动态解码，而不是迭代到每个键值

编辑：

我读过postgresql的外国数据包装器，特别是redis_fdw，我想知道它是否能解决我的情况，以最快的速度将数据从Redis移动到Postgresql，并尽可能减少麻烦

Answer 1

redis\u fdw是一条路要走。请记住，哈希集的每个成员在相应的Pg外部表中不会是不同的行。相反，它将在外部表中为每个Redis散列创建一行，并为所有散列值使用Pg数组。

例如，对于Redis中的以下哈希：

myhash = {a:1, b:2}

您可以创建外部表：

CREATE FOREIGN TABLE my_pg_hash (key text, val text[])
SERVER redis_server
OPTIONS (database '0', tabletype 'hash', tablekeyprefix 'myhash');

外部表my_pg_hash将包含整个Redis哈希集的一行myhash。此行将有一个包含redis哈希的所有键/值对的作为键myhash和作为值的postgres数组。

SELECT * FROM my_pg_hash;

 key      |    val    
----------+-----------
 myhash   | {a,1,b,2}
(1 row)

您可以使用Pg的unnest（）函数将val数组拆分为单独的行：

SELECT key, unnest(val) FROM my_pg_hash;

  key   | unnest 
--------+--------
 myhash | a
 myhash | 1
 myhash | b
 myhash | 2
(4 rows)