hdfs接收器连接器:scheme:http没有文件系统

vyswwuz2  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(268)

我用的是 confluent ,但当我添加 hdfs-sink 连接器,我得到这个错误:

Caused by: java.io.IOException: No FileSystem for scheme: http

有人能帮我吗?

3df52oht

3df52oht1#

hdfs sink connect不适用于http url(如httpfs)。
您需要提供一个支持hadoop的兼容文件系统,例如
高密度光纤://
文件://(将在分布式模式下写入单个连接工作进程上的本地磁盘,仅在独立模式下工作最佳)
s3a://(假设类路径上有hadoop aws)
wasb://(假设hadoop azure在类路径上)

相关问题