如何在azuredata lake中按顺序存储数据,并在flink中按顺序读取数据?

eivgtgni  于 2021-06-25  发布在  Flink
关注(0)|答案(0)|浏览(172)

我使用flink custom sink将数据存储在azure data lake中的一个文件中,使用custom source从azure data lake中的同一个文件中读取数据。但是当我尝试将数据存储到azure data lake文件时,数据不是按顺序存储的,即我发送的数据是以随机方式存储的,而不是按我发送的顺序存储的。当我尝试使用parallelism=1时,只有一个线程将写入azure数据湖,而且写入速度非常慢。
当我在flink中读取自定义源时,数据不是按顺序读取的。如何实现这两者?有人能帮我吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题