弹性搜索，多个索引vs一个索引和不同数据集的类型？

Question

我有一个使用MVC模式开发的应用程序，现在我想对它的多个模型进行索引，这意味着每个模型都有不同的数据结构。

>

是使用多个索引更好，每个模型使用一个索引，还是在每个模型的同一索引中使用一个类型？我认为，这两种方法都需要不同的搜索查询。我刚开始做这个。

如果数据集是小的还是大的，这两个概念在性能上是否存在差异？

如果有人能为我推荐一些好的样本数据，我会自己测试第二个问题。

Answer 1

乔纳森的回答很棒。我只想补充几点其他需要考虑的问题：

• 可以根据您选择的解决方案自定义碎片数。您可以有一个包含15个主分片的索引，也可以将其拆分为3个包含5个分片的索引-性能透视图不会改变（假设数据平均分布）
• 考虑数据使用。例如，如果使用kibana可视化，则包含/排除特定索引更容易，但必须在仪表板中过滤类型
• 数据保留：对于应用程序日志/度量数据，如果需要不同的保留期，请使用不同的索引

Answer 2

尽管Jonathan当时的回答是正确的，但世界已经改变了，现在看来ElasticSearch的幕后人员已经有了一个长期计划，放弃对多种类型的支持：

我们想要达到的目的是：我们想要从Elasticsearch中删除类型的概念，同时仍然支持父/子。

因此，对于新项目，每个索引只使用一个类型将使最终升级到ElasticSearch6.x更加容易。

Answer 3

这两种方法都有不同的含义。

假设您使用的是ElasticSearch的默认设置，为每个模型设置1个索引将显著增加碎片的数量，因为1个索引将使用5个碎片，5个数据模型将使用25个碎片；虽然在1个索引中有5个对象类型，但仍将使用5个碎片。

将每个数据模型作为索引的含义：

• 在索引内进行搜索的效率高、速度快，因为每个碎片中的数据量应较小，因为它分布在不同的索引中。
• 从2个或更多索引中搜索数据模型的组合将产生开销，因为查询必须跨索引发送到更多分片，进行编译并发送回用户。
• 如果数据集较小，则不建议使用，因为每创建一个额外的碎片，您就会占用更多的存储空间，而且性能增益很小。
• 如果您的数据集很大，并且查询需要很长时间来处理，则建议您这样做，因为专用的碎片存储您的特定数据，这样Elasticsearch处理起来会更容易。

将每个数据模型作为索引中的对象类型的含义：

• 更多的数据将存储在索引的5个分片中，这意味着跨不同数据模型查询时的开销较小，但分片的大小将明显增大。
• 碎片中的数据越多，Elasticsearch搜索的时间越长，因为要筛选的文档越多。
• 如果您知道要处理1 TB的数据，并且没有在Elasticsearch映射中的不同索引或多个分片上分发数据，则不建议使用。
• 建议用于小型数据集，因为您不会浪费存储空间来获得边际性能增益，因为每个分片都会占用硬件空间。

如果你在问什么是数据太多vs数据太小？它通常取决于处理器的速度和硬件的RAM、在用于Elasticsearch的映射中的每个变量中存储的数据量以及查询要求；在查询中使用多个方面将显著地减慢响应时间。对此没有直接的答案，您将不得不根据您的需要进行基准测试。