了解Elasticsearch中的细分

岳杜吟

2023-03-14

问题内容：

我当时假设Elasticsearch中的每个碎片都是一个索引。但是我在某处读到，每个段都是一个Lucene索引。

细分到底是什么？它如何影响搜索效果？我的索引每天使用默认的Elasticsearch设置达到450GB左右（我每天创建一个新索引）。

当我执行时curl -XPOST "http://localhost:9200/logstash-2013.03.0$i_optimize?max_num_segments=1"，我得到
num_committed_segments=11和num_search_segments=11。

上面的值不应该是1吗？也许是因为index.merge.policy.segments_per_tier价值？无论如何，这层是什么？

问题答案：

在Elasticsearch中，“索引”一词被滥用了-适用于太多事物。

解释：

指数

Elasticsearch中的“索引”有点像关系数据库中的数据库。在此存储/索引数据。但是实际上，这就是您的应用程序所看到的。在内部，索引是指向一个或多个分片的逻辑命名空间。

同样，“索引”是指将数据“放入” Elasticsearch。您的数据既被存储（用于检索），又被“索引”用于搜索。

“反向索引”是Lucene用于使数据可搜索的数据结构。它处理数据，提取唯一的术语或标记，然后记录哪些文档包含这些标记。有关更多信息，请参见http://en.wikipedia.org/wiki/Inverted_index。

“碎片”是Lucene的一个实例。它本身就是一个功能齐全的搜索引擎。“索引”可以由单个碎片组成，但通常由多个碎片组成，以允许索引增长并在多台计算机上拆分。

“主要碎片”是文档的主要存放地。“副本分片”是主分片的副本，它提供（1）万一主模块死了，并且（2）提高了读取吞吐量

每个分片包含多个“段”，其中一个段是一个反向索引。在分片中进行搜索将依次搜索每个片段，然后将其结果合并为该分片的最终结果。

在为文档建立索引时，Elasticsearch将它们收集在内存中（为了安全起见，并存储在事务日志中），然后每隔一秒钟左右，将新的小段写入磁盘，然后“刷新”搜索。

这使得新段中的数据对于搜索可见（即它们是“可搜索的”），但是该段尚未同步到磁盘，因此仍然存在数据丢失的风险。

Elasticsearch经常会“刷新”（flush），这意味着对段进行同步（现在它们已“提交”）并清除事务日志，因为我们知道新数据已写入磁盘，因此不再需要。

细分越多，每次搜索花费的时间就越长。因此，Elasticsearch将通过后台合并过程将多个类似大小（“层”）的分段合并为一个更大的分段。写入新的较大段后，将删除旧段。如果有太多相同大小的片段，则会在较大的片段上重复此过程。

段是不可变的。更新文档时，它实际上只是将旧文档标记为已删除，并为新文档建立索引。合并过程还会删除这些旧的已删除文档。