运行自定义shell脚本分布式shell

c9qzyr3d  于 2021-05-30  发布在  Hadoop
关注(0)|答案(0)|浏览(205)

我已经阅读了来自hortonworks的apachehadoopYarn手册,其中解释了运行Yarn任务的两种方法。
我的意图是运行一个shell脚本(它编译并运行各种java和python脚本),并为各种文件夹运行一组这些脚本/补丁。一个简单的比喻:“解压100个文件夹并记录它们的'l'”
现在假设我想并行化这个流,这样一个容器可以运行1-2个文件夹,假设我需要50个这样的容器。
如何使用分布式shell来实现这一点?我见过ls/whoami/uptime/hostname的例子,但这不是我想要的。我想运行一个脚本,它接受/迭代参数路径,我想在yarn上以分布式方式运行。有什么帮助吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题