如果无法通过SSH连接到主节点,则在dataproc群集上运行HDFS命令

cyej8jka  于 2022-12-09  发布在  HDFS
关注(0)|答案(1)|浏览(175)

如果你不能通过SSH进入主节点,有没有一种方法可以在Dataproc集群上提交HDFS命令?我在Gcloud SDK或其他API中找不到任何东西。
比如:

gcloud dataproc jobs submit hdfs 'ls /hdfs/path/' --cluster=my-cluster --region=europe-west1
eh57zj3b

eh57zj3b1#

最简单的方法是通过gcloud dataproc jobs submit pig --execute 'fs -ls /' pig fs,或者pig sh作为其他shell命令的捕获器。

相关问题