在结果集中进行有效搜索的方法

Question

短版本

我希望在数据库中的任意一组对象中高效地执行全文搜索。所有对象都将在搜索引擎中编制索引。

我的主意

我计划把这个操作分成两部分。首先，搜索引擎将被查询一个与全文搜索相匹配的加权/排序的id集。这组id将被过滤，删除不在用户原始集中的任何id。

有没有更好的方法来做这件事？如果没有，你能提供任何关于高效做这件事的建议吗？

长版本

我正处于构建一个web应用程序的规划阶段，该应用程序将允许用户可视化高度链接的数据集，并操纵这些可视化，以导出有趣的顶点集，以供进一步分析。用户通过gui执行的过滤操作将非常复杂，很难表示为可索引的数量。

我想允许用户在这些数据集中对结果进行全文搜索。看看谷歌在搜索结果集中做了什么，他们简单地将一个早期搜索查询附加到一个新查询以启用“搜索范围”的方法对我的数据可能不可行。

这个问题的公认答案提倡使用数据库操作来过滤来自搜索引擎的结果。

作为解决方案的一部分，我还考虑在用户想要搜索的顶点集足够小时，让前端切换到使用lunr。弄清楚这个限制是什么需要一些测试，但我怀疑它会有几千个，所以仍然需要一个服务器端解决方案。

环境细节

我正在appengine上运行python 2.7。

在这个应用程序中，我希望初始结果集（将在其中搜索）包含10到2000个顶点。整个数据库中的顶点总数可能要大几个数量级。

Answer 1

TLDNR：你能做一些预处理来设置一个大的哈希字典，客户端可以用它来支持不同的查询吗？

你的数据有多动态、多大？如果你的数据是相对静态的，我正在做一些类似的事情。我们有一个网页，用户可以通过选择大约300个变量的任意组合来创建和或选择。每个变量可以有数百个与之关联的项。因为变量的数据集是相对静态的，不是巨大的，所以我们将它们创建为json。在TextProperty字段中转储文本。当浏览器解析json时，json就变成了一个由变量ID键入的大字典。每个键的值都是一个与所选键关联的项目数组（在本例中是图像ID）。所有的交集和组合都是通过这些数组提供的几个小Javascript函数完成的。这非常有效——用户补充了速度，这种方法大大简化了GAE端。所有json变量都是通过cron和taskqueues以一种有点懒惰、近乎实时的方式加载/更新的。对于最终显示，结果被格式化并插入到div的innerHTML中。缓存所有图像后，浏览器对格式化和显示数百个420x280像素图像的响应几乎是瞬间的。这看起来很酷，也是对从事浏览器工作的人们的致敬——包括布局和JS优化。（我应该注意，我们使用纯JS来确保开销最小，而不是像JQuery这样的东西。）HTH-stevep

Answer 2

如果你试图使用GAE数据存储进行分析，你会遇到麻烦。

数据存储查询非常有限，没有对多个属性进行不等过滤，也没有全文搜索。

你可能想看看Google BigQuery，它有丰富的查询并支持正则表达式过滤。它还支持“中间表”，您可以使用一个查询的结果作为另一个查询的输入数据——我不完全理解您的问题，但这似乎是您所需要的。