我是Flink的新手。我有一个要求，在这里，我需要从Kafka流中连续读取数据，但要成批写入。从而减少mongoserver上的查询数量。请告诉我最好的方法。我现在想做的。从Kafka源读取数据应用5分钟的时间窗口减少条目以创建条目列表。从mongosink函数中读取列表并进行批量写入谢谢，阿什尼克
ktca8awb1#
以上这些看起来应该有用。由于mongo客户机非常简单，如果您想提高效率，可以实现自己的有状态客户机 ProcessFunction 它保存一个条目列表，并在列表达到一定大小或足够长的时间后刷新到mongodb。
ProcessFunction
1条答案
按热度按时间ktca8awb1#
以上这些看起来应该有用。由于mongo客户机非常简单，如果您想提高效率，可以实现自己的有状态客户机
ProcessFunction它保存一个条目列表，并在列表达到一定大小或足够长的时间后刷新到mongodb。