你应该多久重新索引一个elasticsearch集群?

5cg8jx4n  于 4个月前  发布在  ElasticSearch
关注(0)|答案(1)|浏览(89)

我有一个OpenSearch域,有40个数据节点。目前整个集群中只有一个索引。我们是一个删除量很大的集群,我们不断删除HTML文档并添加新文档。我们目前有大约200,000,000个可搜索文档和160,000,000个已删除文档。重新索引是个好主意吗?还有,有没有工具可以用来估计重新索引一个域所需的时间?

voj3qocg

voj3qocg1#

重新索引不是唯一的选择。如果您可以暂停文档摄取几个小时(或者几天),您可以运行:

  • 索引上的split。如果您按因子6拆分,则不会再有大于5GB的片段,Elasticsearch将合并片段,同时释放已删除文档的磁盘空间。但此选项需要大量可用磁盘空间。请仔细阅读文档。
  • 索引上的forcemerge。我认为您必须为max_num_segments和/或only_expunge_deletes指定一个值。警告:强制合并操作无法取消,并且在如此大的分片上可能需要数小时。

理想情况下,你应该尽量避免只有一个大索引,因为它们更难操作。通常,可以通过开关将文档分布在多个索引中(例如HTML域名的第一个字母)。

相关问题