lucene Solr性能警告:甲板上重叠搜索器

oyt4ldly  于 2022-11-07  发布在  Lucene
关注(0)|答案(1)|浏览(153)

我们的solr搜索引擎在我们的测试环境中遇到了很多问题。我们有一个4.6版本的solr云设置,单碎片,4个节点。我们看到领导节点上的CPU在几个小时内一直保持100%的水平,然后服务器开始抛出OutOfMemory错误,“性能警告:日志中开始出现重叠的onDeckSearchers,领导者进入恢复模式,过滤器缓存和查询缓存预热时间达到60秒左右(通常不到2秒),领导节点关闭,整个集群在恢复和选举新的领导节点时会中断几分钟。我们认为我们在4.6和4.x分支中遇到了一些solr错误,我们最近还将软提交时间从10分钟降至2分钟。我发现所有节点上的CPU每2分钟就会出现一次常规峰值,但峰值很低,仅为20-50%。(最多100次)。当CPU达到最大值时,显然我看不到这些峰值。硬提交每15秒进行一次,其中opennewsearcher设置为false。我们有一个查询和索引负载很重的场景。
我想知道频繁的软提交是否对此问题有显著影响,或者缓存上较长的自动预热时间是否是由我们遇到的其他问题(原因或症状)引起的?我们最近增加了服务器上的索引负载,但在升级到生产环境之前,我们需要在测试环境中解决这些问题。
快取设定:

<filterCache class="solr.FastLRUCache"
                 size="5000"
                 initialSize="5000"
                 autowarmCount="1000"/>

<queryResultCache class="solr.LRUCache"
                      size="20000"
                      initialSize="20000"
                      autowarmCount="5000"/>
jgovgodb

jgovgodb1#

我们在Solr 4.10中遇到了这个问题(5.1中也很少遇到)。在我们的例子中,我们频繁地索引,提交开始变得过于接近。有时我们的优化命令会比预期运行得更长。
我们通过确保在优化操作开始后至少十分钟内没有索引或提交发生来解决此问题。我们还自动为缓存预热了较少的查询。如果您尚未找到以下链接,则可能会对您有用:
Overlapping onDeckSearchers--Solr mailing list
Solr Wiki

相关问题