flink流应用程序以Parquet格式写入s3

cwdobuhd 于 2021-06-21 发布在 Flink

关注(0)|答案(0)|浏览(267)

我正在开发一个flink流应用程序，它使用来自kafaka/kinesis的消息，在处理它们之后，它必须每隔5分钟将输出以Parquet格式写入s3。
请建议一个方法来实现这一点，因为我面临着很多问题。
目前我正在使用flink 1.4.2，因为我正在考虑将其部署到aws emr 5.15集群上。
方法已经尝试过了-我使用了模块“flink-s3-fs-hadoop”和parquetapi以及flink“bucketingsink”

streaming parquet amazon-s3 apache-flink

来源：https://stackoverflow.com/questions/51362160/flink-streaming-application-writing-to-s3-in-parquet-format