用kafka和flink实现批处理数据源的批处理

mbzjlibv 于 2021-06-08 发布在 Kafka

关注(0)|答案(0)|浏览(560)

我目前正在为一个大数据流和批处理平台的架构工作。我计划使用apachekafka作为分布式消息传递系统来处理来自流数据源的数据，然后传递给apacheflink进行流处理。我还想使用flink的批处理功能来处理批处理数据。
定期通过kafka传递批处理数据作为flink批处理的源（这可能吗？）有意义吗？还是我应该将批处理数据写入数据存储，然后通过读取flink进行处理？

apache-kafka apache-flink kafka-producer-api kafka-consumer-api

来源：https://stackoverflow.com/questions/38471711/using-kafka-and-flink-for-batch-processing-of-a-batch-data-source