当前位置: 首页 > 知识库问答 >
问题:

Solr性能警告:DeckSearcher上的重叠

顾乐心
2023-03-14

在我们的测试环境中,我们的solr搜索引擎遇到了许多问题。我们在4.6版上有一个solr云设置,单个分片,4个节点。我们看到CPU在领导节点上的平行线达到100%几个小时,然后服务器开始抛出OutOfMemory错误,“性能警告:重叠onDeckSearcher”开始出现在日志中,领导进入恢复模式,过滤器缓存和查询缓存预热时间达到60秒左右(通常不到2秒),领导节点关闭,我们在整个集群恢复并选举新领导时遭受几分钟的中断。我们认为我们在使用4.6和4. x分支时遇到了许多solr错误,因此希望转向5.3。我们最近还将软提交时间从10分钟减少到2分钟。我在所有节点上每2分钟看到一次常规的CPU尖峰,但尖峰很低,从2分钟周期的20-50%(最大100)。当CPU达到最大值时,我显然看不到这些尖峰。硬提交每15秒一次,opennewsearch cher设置为false。我们有一个沉重的查询和索引负载类型的场景。

我想知道频繁的软提交是否对此问题产生了重大影响,或者缓存上的长时间自动预热是否是由我们遇到的其他问题(原因或症状)造成的?我们最近增加了服务器上的索引负载,但我们需要在测试环境中解决这些问题,然后才能推广到生产环境。

缓存设置:

<filterCache class="solr.FastLRUCache"
                 size="5000"
                 initialSize="5000"
                 autowarmCount="1000"/>

<queryResultCache class="solr.LRUCache"
                      size="20000"
                      initialSize="20000"
                      autowarmCount="5000"/>

共有1个答案

元昊苍
2023-03-14

Solr 4.10(以及5.1)有这个问题。在我们的例子中,我们经常编制索引,提交开始变得过于紧密。有时,我们的optimize命令的运行时间会比预期的长一些。

我们通过确保在优化操作开始后至少十分钟内没有索引或提交来解决这个问题。我们还自动对缓存进行了较少的查询。如果您尚未找到以下链接,则以下链接可能对您有用:

在DeckSearchers--Solr邮件列表上重叠

Solr Wiki

 类似资料:
  • 问题内容: 我一直在四处查看,以了解如何将MongoDB与Solr结合使用,这里的一些问题有部分答案,但没有什么具体的(更像是理论)。在我的应用程序中,我将在MongoDB中存储很多文档(可能多达几亿个),并且我想对这些文档的某些属性实施全文搜索,所以我想Solr是最好的方法这个。 我想知道的是我应该如何配置/执行所有操作以使其具有良好的性能?现在,这是我的工作(我知道这不是最佳选择): 1-在M

  • 我在我的kinesis流中执行了从1个切分到2个切分的重新切分,之后我的KCL消费者每一分钟都会记录以下警告。 由于LeaseCleanupManager,无法清理newStream的租约shardId-000000000006。LeaseCleanupResult(cleanedUpCompletedLease=false,cleanedUpGarbageLease=false,wereChil

  • 云联壹云平台支持对宿主机、虚拟机、云账号等资源的相关指标进行监控告警,告警消息支持通过机器人、邮件、短信、飞书、钉钉、企业微信等通知渠道发送给用户。 告警策略 告警策略即针对监控指标设置阈值,当资源的指标超过阈值时,将会立即通过通知渠道向用户发送告警消息,使用户可以快速响应解决问题。 告警历史 告警历史显示系统中所有的触发告警以及恢复告警的告警策略和资源信息。 告警资源 告警资源即宿主机、云账号等

  • 我正在使用python处理一些图像,并尝试将一系列大小为961x509的图像转换为MP4电影文件。我已经这样做了,它正在工作,但我有一个相当恼人的问题,警告说这样的话: 警告:根:图像FFMPEG_WRITER警告:输入图像不能被macro_block_size=16整除,大小从(509L,961L)到(512L,976L),以确保与大多数编解码器和播放器的视频兼容性。若要防止调整大小,请使输入图

  • 问题内容: 我有一个从其他继承的实体。另一方面,我正在使用lombok项目来减少样板代码,因此我添加了注释。具有继承的注释会产生下一个警告: 生成equals / hashCode实现,但不调用超类,即使该类未扩展java.lang.Object。如果这是故意的,请添加您的类型。 是否建议添加注释或?如果不加它,哪一个是它 还是 ? 问题答案: 该默认值是。如果您不指定它而忽略警告,那就是您得到的

  • 我已经部署了一个在WebSphere8.5.5.10IBM上使用Hibernate的应用程序。hibernate-jpa依赖项提供了作用域,因为WebSphere默认拥有它。该应用程序工作,但我得到以下警告,不能摆脱它。 有人能帮忙吗?