lucene 是否可以直接读取/解析ElasticSearch索引文件?

mccptt67  于 2022-11-07  发布在  Lucene
关注(0)|答案(1)|浏览(119)

问题是,我们遇到了这样一种场景,我们希望直接读取/加载一个ES索引文件的所有数据到内存中,而不是使用ES API的滚动轮询查询方法。
我们这样做的原因是,这样做不会降低我们的es示例被其他应用程序使用的性能,这对我们来说非常重要。
将索引数据加载到内存中后,我们就可以将它们解析并传输到其他的大数据应用程序中,比如Kafka,直接flink。

nzkunb0c

nzkunb0c1#

如果你有超过10000条记录要读取,最好的方法是使用Scroll API。你可以使用这个API读取所有的数据,如果合适的话,可以将所有的数据存储在内存中。
我很好奇
它不会降低我们的ES示例被其它应用程序使用的性能。
为什么您认为使用标准API会很慢?

相关问题