如果你不能通过SSH进入主节点,有没有一种方法可以在Dataproc集群上提交HDFS命令?我在Gcloud SDK或其他API中找不到任何东西。比如:
gcloud dataproc jobs submit hdfs 'ls /hdfs/path/' --cluster=my-cluster --region=europe-west1
eh57zj3b1#
最简单的方法是通过gcloud dataproc jobs submit pig --execute 'fs -ls /' pig fs,或者pig sh作为其他shell命令的捕获器。
gcloud dataproc jobs submit pig --execute 'fs -ls /'
pig sh
1条答案
按热度按时间eh57zj3b1#
最简单的方法是通过
gcloud dataproc jobs submit pig --execute 'fs -ls /'
pig fs,或者pig sh
作为其他shell命令的捕获器。