问题是,我们遇到了这样一种场景,我们希望直接读取/加载一个ES索引文件的所有数据到内存中,而不是使用ES API的滚动轮询查询方法。我们这样做的原因是,这样做不会降低我们的es示例被其他应用程序使用的性能,这对我们来说非常重要。将索引数据加载到内存中后,我们就可以将它们解析并传输到其他的大数据应用程序中,比如Kafka,直接flink。
nzkunb0c1#
如果你有超过10000条记录要读取,最好的方法是使用Scroll API。你可以使用这个API读取所有的数据,如果合适的话,可以将所有的数据存储在内存中。我很好奇它不会降低我们的ES示例被其它应用程序使用的性能。为什么您认为使用标准API会很慢?
1条答案
按热度按时间nzkunb0c1#
如果你有超过10000条记录要读取,最好的方法是使用Scroll API。你可以使用这个API读取所有的数据,如果合适的话,可以将所有的数据存储在内存中。
我很好奇
它不会降低我们的ES示例被其它应用程序使用的性能。
为什么您认为使用标准API会很慢?