当前位置: 首页 > 知识库问答 >
问题:

弹性搜索-最大碎片大小

狄飞尘
2023-03-14

在学习ElasticSearch的过程中,我偶然发现并没有得出最终结论。

  • ElasticSearch的最大碎片大小是多少

共有3个答案

梁丘俊人
2023-03-14

正如其他人所说,理论最大值非常大,但是根据您的系统,可能存在实际限制。

我发现在150GB左右,碎片的性能开始下降。我有50GB的碎片,性能相当好。在这两种情况下,碎片是节点上唯一的碎片,节点有54GB的系统内存,31GB用于elasticsearch。在50GB时,我从大约100ms左右的相对繁重的查询中获得结果,而在150GB时需要500ms或更长的时间。

我确信这取决于我使用的映射和许多其他因素,但如果您正在轮询数据点,这可能会很有用。

吴凯
2023-03-14
  • 简单:不要跨越40亿个文档

更多详情:https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html和https://qbox.io/blog/optimizing-elasticsearch-how-many-shards-per-index .

曾河
2023-03-14

在阅读了多篇文章和博客并运行了自己的负载测试后,我得出结论,碎片的数量和每个碎片的最大大小取决于许多因素,例如:

  1. 插入数据的大小
  2. 插入数据的速率
  3. 数据检索/搜索是否同时进行?如果是,搜索频率是多少?进行了多少次并发搜索
  4. 服务器配置详细信息,如CPU中的内核数、硬盘大小、内存大小等

因此,要找出每个碎片的优化大小和部署的优化碎片数,一个好方法是使用各种参数组合运行测试

 类似资料:
  • 假设在创建索引时,我没有为此设置任何副本,如果我使用update settings API进行更新,并且将副本状态更改为1。如果我有2个节点,那么应该在第二个节点上创建副本,因为在主节点侧,由于集群状态显示黄色,碎片没有分配给node2,所以不会创建副本,即使我们将副本启用为1。 请分享为什么副本碎片没有分配到Node2? 但在集群启动时,节点显示它们检测到并相互连接。

  • 我的ElasticSearch集群中有2个节点,有1个索引。索引设置为有5个碎片和1个副本。我希望所有5个碎片在一个节点,与一个副本的每一个在另一个节点。我不希望ElasticSearch在两个节点之间平均分配这5个碎片(以及平均分配副本)。 换句话说,我希望一个节点严格作为备份,保存所有副本。这在ElasticSearch中是可能的吗?如果是,我需要配置哪些设置?

  • 我的应用程序有问题。我的活动由以下xml代码组成: 使用充气,插入包含images.png!这会导致堆增长(frag情况)。是否有一种方法可以减少或增加堆,并保持此设置? 这是在Mainactive中插入的布局: 谢啦!

  • 问题内容: 要获取的数据大小:大约20,000 问题:在python中使用以下命令搜索Elastic Search索引数据 但没有得到任何结果。 如果我给的尺寸小于或等于10,000,则可以正常工作,但不能与20,000相匹配, 请帮助我找到最佳的解决方案。 PS:在深入研究ES时发现此消息错误: 结果窗口太大,从+大小必须小于或等于:[10000],但为[19999]。有关请求大数据集的更有效方

  • 我正在尝试对驻留在elastic中的数据执行4个操作。精确匹配(等于),包含,小于,大于。elastic中有两个选项,即query和filter,据我所知,这两个选项的作用相同,但query计算的分数与数据条件值关系最匹配。 我想做的是简单的过滤或查询(我很困惑,他们网站上提到的方式) 精确匹配,如或或 包含类似name Contains或email Contains 大于like

  • 我有一个问题,在elasticsearch与mongob建立河流。如果日期的大小在一百万以内,我可以从mongob导入数据。但是当数据很大1000万或更大时,河流无法索引来自mongob集合的所有记录。 我在日志中看到这个错误 通常说river stale是错误的几次。此外,我在mongodb设置中的oplog大小为1024MB。