从Postgres DB中包含1000万条记录的表中获取记录的性能改进

Question

我有一个分析表，其中包含1000万记录，为了生产图表，我必须从分析表中获取记录。其他几个表也加入到这个表中，目前正在获取数据但它需要大约10分钟，即使我已经索引了加入的列，并且我在Postgres中使用了物化视图。但仍然性能很低，从物化视图执行选择查询需要5分钟。

请建议我一些技巧，以便在5秒内得到结果。我不想改变数据库存储结构，因为要支持它，需要做很多代码更改。我想知道是否有一些内置的方法可以提高查询速度。

提前感谢

Answer 1

一般来说，您可以通过创建更好的数据结构来解决这个问题（大多数引擎通过键在一定程度上为您做到这一点）。

但是如果你要创建一个排序列。然后创建一个树状结构，这样你的搜索率就只有（N（log[N]），而不是你现在可能面对的。这将确保你在搜索中总是有一个巨大的速度。

这是关于二叉树、红黑树等。

加速的另一个实现可能是利用REDIS系列中的一些东西，即一个很好的数据库缓存层。

出于分析原因，过去我也选择使用与hadoop相关的技术。尽管在目前的情况下，这可能是一个更大的迁移。