如何有条件地调度hadoop作业?

x33g5p2x  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(299)

我对hadoop非常陌生,尤其是hadoop作业调度。这就是我要做的。
我有2个流,每个流都有一个hadoop任务。我可以自由地将这些流放在同一个项目或不同的项目中。我不希望hadoop作业在集群上同时运行,但我还希望确保它们交替运行。
e、 g.flow_1(使用hadoop_作业\u 1)运行并完成->flow_2(使用hadoop_作业\u 2)运行并完成->flow_1(使用hadoop_作业\u 1)运行并完成等等。
当然,我也愿意优雅地处理特殊情况。e、 g.flow_1完成,但是flow_2没有准备好,那么flow_1有机会再次运行如果它准备好了,如果flow_1失败,flow_2仍然得到它的回合,等等。
我想知道哪些调度器我可以探索哪些能够做到这一点。
我们正在使用mapr。
谢谢

6mw9ycah

6mw9ycah1#

这看起来是oozie的标准用例。看看这些教程,它们使用pig、hive和sqoop操作执行oozie工作流,以及用于hadoop的oozie工作流调度器

相关问题